arXiv:2409.14683v1 公告类型: 交叉 摘要: 近年来，以ColBERT为首的多向量检索方法在神经信息检索领域逐渐成为一种流行的方法。通过在词级别而非文档级别存储表示，这些方法在跨领域设置中展示了非常强大的检索性能。然而，存储大量相关向量所需的存储和内存需求仍然是一个重要的缺点，阻碍了实际应用。本文介绍了一种基于聚类的词池化方法，以积极减少需要存储的向量数量。该方法可以将ColBERT索引的空间和内存占用减少50%，且几乎不影响检索性能。该方法还允许进一步减少，将向量数量减少66%至75%，在绝大多数数据集上性能下降保持在5%以下。重要的是，这种方法不需要架构更改或查询时处理，并且可以作为简单的插件在索引过程中与任何类似ColBERT的模型一起使用。
领域自适应目标检测（DAOD）旨在将训练好的模型从一个源域迁移到目标域。现有的DAOD方法多种多样，其中一些方法通过减少不同域中前景-背景关联的上下文偏差来实现。然而，先前的工作尚未通过分析适应过程中背景特征的变化以及上下文偏差在不同域中的表现方式来研究DAOD中的上下文偏差。我们的研究实验突显了上下文偏差在DAOD中的潜在应用价值。我们通过改变训练模型不同层的激活值和背景掩码来解决这一问题，这两者都会影响检测的数量和质量。然后，我们使用CARLA合成数据集以及两个不同版本的Cityscapes和Cityscapes雾化真实开源数据作为单独的域来表示和量化上下文偏差。我们利用最大均值差异（MMD）和最大方差差异（MVD）等不同指标，来寻找给定操纵背景区域的前景在不同域中的层特定条件概率估计。通过详细的分析，我们证明了理解上下文偏差可以影响DAOD方法并聚焦于特定问题。
arXiv:2409.14673v1 公告类型: 交叉 摘要: 大型语言模型(LLMs)在计算社会科学(CSS)任务中的实际应用主要依赖于指令调优(IT)或上下文学习(ICL)的有效性。虽然IT在微调LLMs以适应各种任务方面表现出色,但ICL通过从示例中学习而不进行显式梯度更新,提供了快速的任务适应替代方案。本文评估了LLMs在少样本CSS任务中使用IT与ICL的分类性能。实验结果表明,在大多数CSS任务中,ICL始终优于IT。此外,我们研究了训练样本数量增加与LLM性能之间的关系。我们的研究结果显示,在不考虑样本质量的情况下,仅增加样本数量并不能持续提升LLMs的性能,有时甚至会导致性能下降。最后,我们比较了三种提示策略,证明ICL比零样本和思维链(CoT)更有效。我们的研究突显了ICL在处理少样本设置中的CSS任务方面的显著优势,并强调了优化样本质量和提示策略以提高LLM分类性能的重要性。代码将公开。
关于软件工程（SE）任务，大型语言模型（LLMs）具备零样本学习的能力，无需训练或微调，这与预训练模型（PTMs）不同。然而，LLMs主要设计用于自然语言输出，无法直接从源代码生成中间嵌入。它们还面临一些挑战，例如，受限的上下文长度可能阻止它们处理更大的输入，限制了其在许多SE任务中的适用性；而在应用于复杂的下游任务时，可能会出现幻觉现象。基于上述事实，我们提出了zsLLMCode，一种利用LLMs生成功能代码嵌入的新方法。我们的方法通过零样本学习将源代码转换为简洁的摘要，然后使用专门的嵌入模型将其转换为功能代码嵌入。这种无监督的方法消除了训练的需求，并解决了LLMs在处理幻觉问题时的困扰。据我们所知，这是首次将LLMs与嵌入模型结合以生成代码嵌入的方法。我们进行了实验以评估我们方法的性能。结果表明，我们的方法在效果和优越性方面优于最先进的无监督方法。
arXiv:2409.14637v1 公告类型: 交叉 摘要: 虚假相关性是机器学习模型错误的主要来源，尤其是在追求群体层面公平性时。最近的研究表明，一种有效对抗虚假相关性的方法是，在平衡的验证数据集上重新训练最后一层，以隔离预测器的稳健特征。然而，神经网络在最后一层有时会丢弃关键属性。在本研究中，我们考虑在从所有层提取的特征集上重新训练分类器。我们利用最近提出的特征选择策略，从所有层中选择无偏特征。我们观察到，这种方法在几个标准基准测试中显著提高了最差群体的准确性。
arXiv:2409.14634v1 公告类型: 交叉 摘要: 科学构思过程通常涉及将现有论文中的突出方面融合以产生新想法。为了探讨大型语言模型（LLMs）是否能辅助这一过程，我们贡献了Scideator，一种新颖的混合主动性工具，用于科学构思。从用户提供的一组论文开始，Scideator提取这些及相关论文的关键方面（目的、机制和评估），使用户能够通过交互式地重新组合这些方面来合成创新想法。Scideator还通过在文献中搜索潜在重叠并显示自动新颖性评估和解释，帮助用户评估想法的新颖性。为支持这些任务，Scideator引入了四个由LLM驱动的检索增强生成（RAG）模块：类似论文方面查找器、方面生成器、想法新颖性检查器和想法新颖性迭代器。在一项针对计算机科学研究人员的用户研究中，与结合科学搜索引擎和LLM交互的强大基线相比，使用Scideator的研究人员显著识别出更多有趣的想法。
arXiv:2409.14633v1 公告类型: 交叉 摘要: 人类导航通过将行动与地标关联来实现，利用了我们识别环境中显著特征的能力。因此，人类的导航指令可以非常简洁，例如简短的口头描述，表明记忆需求小且不依赖复杂且过于精确的导航工具。相反，当前的自主导航方案依赖于精确的定位设备和算法，以及从环境中收集的大量感官数据。受此人类能力的启发并受到相关技术差距的推动，本文提出了一种分层端到端元学习方案，使移动机器人能够在仅提供少量地标样本图像及其相应的高级导航行动的情况下，在未知环境中导航。这大大简化了寻路过程，并易于适应新环境。对于少样本航点检测，我们通过分布嵌入实现了基于度量的少样本学习技术。航点检测触发多任务低级操纵控制器模块执行相应的高级导航行动。我们在几个先前未见过的室内导航任务中使用小型自主车辆展示了该方案的有效性。
可解释深度神经网络的需求日益增长，推动了可靠AI系统的发展。概念瓶颈模型（CBMs）因其利用人类可理解的概念来增强可解释性而受到关注。然而，现有的CBMs由于确定性概念编码和对不一致概念的依赖，面临挑战，导致不准确性。我们提出了EQ-CBM，一种通过使用基于能量的模型（EBMs）和量化概念激活向量（qCAVs）进行概率概念编码来增强CBMs的新框架。EQ-CBM有效地捕捉不确定性，从而提高预测的可靠性和准确性。通过采用qCAVs，我们的方法在概念编码过程中选择同质向量，实现更明确的任务表现，并促进更高水平的人类干预。使用基准数据集的实证结果表明，我们的方法在概念和任务准确性方面均优于现有技术。
量子机器学习利用量子计算生成经典数据。量子机器学习的一个潜在应用是利用量子计算机的力量生成经典数据，这一过程对于丰富训练数据集、异常检测和金融风险管理等多种应用至关重要。鉴于生成对抗网络在经典图像生成中的成功，其量子版本的发展一直在积极进行。然而，现有的量子计算机实现往往面临显著挑战，如可扩展性和训练收敛问题。为了解决这些问题，我们提出了LatentQGAN，这是一种新颖的量子模型，使用结合了自动编码器的量子-经典混合生成对抗网络。尽管最初设计用于图像生成，但LatentQGAN方法在各种实际数据生成任务中具有广泛的应用潜力。在经典模拟器和噪声中等规模量子计算机上的实验结果表明，与现有量子方法相比，性能显著提升，同时量子资源开销显著减少。
arXiv:2409.14602v1 公告类型: 交叉 摘要: 研究论文的标题以简洁的方式传达了论文的主要主题，有时还包括其发现。找到合适的标题通常是一项艰巨的任务，因此，如果能够自动化生成标题，将对作者大有裨益。本文中，我们微调了预训练的大型语言模型，以从论文摘要中生成标题。我们还使用ChatGPT在零样本设置下生成论文标题。模型的性能通过ROUGE、METEOR、MoverScore、BERTScore和SciBERTScore指标进行衡量。