arXiv:2504.07109v1 通知类型: cross
摘要: 检索增强生成 (RAG) 通过整合外部知识来增强大型语言模型 (LLMs)，从而提高了准确性和相关性。然而，随着检索规模的增长，扩展 RAG 管道仍然是计算上昂贵的。为了解决这一问题，我们引入了 OSCAR，这是一种新颖的查询依赖在线软压缩方法，能够在降低计算开销的同时保持性能。与传统的硬压缩方法不同，后者缩短检索到的文本，或通过离线映射文档到连续嵌入的软压缩方法，OSCAR 在推理时动态压缩检索到的信息，消除存储开销并实现更高的压缩率。此外，我们将 OSCAR 扩展用于同时进行重排序，进一步优化 RAG 管道的效率。我们的实验表明，与具有 1B 到 24B 参数的 LLM 的最佳性能相比，具有 2-5 倍推理加速，且几乎没有或没有准确性的损失。模型可在以下网址获得：https://huggingface.co/collections/naver/oscar-67d446a8e3a2551f57464295。
arXiv:2504.07108v1 声明类型: cross
摘要：近年来，立法将招聘领域中推荐系统的使用标记为“高风险”。因此，已经实施了严格的解释性和公平性要求，以确保所有涉及相关方得到恰当的对待。为了提供针对不同相关方的特定解释能力，同时处理高度异质性的招聘数据，我们提出了一个基于图神经网络的新型解释性多利益相关方职位推荐系统：职业知识导向的注意力推荐系统（OKRA）。该提议的方法能够提供候选人和公司双方的推荐和解释。我们发现，在两个数据集上，OKRA 在 nDCG 方面明显优于六个基线模型。此外，我们发现测试的模型对位于城市地区的候选人和职位职位存在偏见。总体而言，我们的发现表明 OKRA 在准确度、解释性和公平性之间提供了一种平衡。
arXiv:2504.07103v1 类型: cross
摘要: 通过引入外部知识，检索增强生成(Retrieval-Augmented Generation, RAG)使得大规模语言模型能够提供更加精确和相关的回复。在查询焦点总结(Query-Focused Summarization, QFS)任务中，基于GraphRAG的方法显著增强了生成回复的全面性和多样性。然而，现有的基于GraphRAG的方法主要集中在粗粒度的信息总结上，而没有意识到具体的查询，提取的内容缺乏足够的上下文信息来生成全面的回复。为了弥补现有RAG系统的不足，我们提出了上下文感知细粒度图RAG(Context-Aware Fine-Grained Graph RAG, FG-RAG)，以提高QFS任务的表现。FG-RAG 使用上下文感知实体扩展进行图检索，从而扩大图中提取实体的覆盖面，提供足够的上下文信息给提取的内容。此外，FG-RAG 运用查询级细粒度总结，在生成回复过程中纳入细粒度细节，增强生成总结的查询意识。我们的评估表明，在QFS任务中，FG-RAG 在全面性、多样性和赋能方面都优于其他RAG系统。我们的实现可在 https://github.com/BuptWululu/FG-RAG 获取。
arXiv:2504.07101v1 声明类型: cross
摘要: 联邦推荐系统(FedRecSys)已经成为一种关键的解决方案，用于隐私保护下的推荐，平衡了数据安全和个性化体验日益增长的需求。当前的研究主要集中在将传统的推荐架构适应联邦环境，优化通信效率并减轻安全漏洞。然而，在这种去中心化的非IID数据设置下，用户个性化建模仍然是一个未探索的领域，这对于捕捉异质性用户偏好至关重要。本文调查了这一空白，系统地探索了FedRecSys中的个性化，从集中式范式到针对联邦环境的创新进行了图表化的演变。我们确立了一个联邦设置下个性化的基础定义，强调个性化模型是捕捉细微用户偏好的关键解决方案。本文批判性地分析了构建个性化FedRecSys的技术障碍，并总结了应对这些挑战的有前景的方法。作为这一领域中首个综合性的研究，本文调查既是一份技术参考，也是推动个性化FedRecSys研究的动力。
arXiv:2504.07936v1 宣布类型: 新
摘要: 生成型AI对传统的人类独特性的观念，特别是创造力，提出了深刻的挑战。基于神经网络的基础模型，这些系统展示了卓越的内容生成能力，引发了关于作者身份、版权以及智能本身的重大辩论。本文认为，生成型AI代表了一种替代形式的智能和创造力，其运作方式是通过数学模式综合而不是生物学理解或逐字复制。人工神经网络与生物神经网络的根本差异揭示了AI学习主要是从大规模数据集中统计模式的提取，以及集体人类知识的切割和重组。这一观点复杂化了版权侵权的叙事，并突出了将AI输出归因于个别来源的实践挑战。与其追求可能徒劳的法律限制，我们主张人与AI的协同合作。通过将生成型AI作为人类直觉、上下文和伦理判断的补充工具，社会可以解锁前所未有的创新、普及创造性表达，并解决复杂挑战。这种合作方法，基于对AI能力与局限性的现实理解，提供了最有前景的前景。此外，将这些模型视为集体人类知识的产物，引发有关可访问性的伦理问题，确保这些工具的公平访问，可以防止社会鸿沟的进一步扩大，并充分利用其潜力以实现集体利益。
arXiv:2504.07911v1 宣布类型: 新
摘要: 下一个目的地推荐系统越来越多地嵌入到基于位置的服务中，影响着城市环境中个人的移动决策。尽管其预测准确性已受到广泛研究，但对其对城市动力学的系统性影响关注较少。在本文中，我们引入了一个仿真框架来建模下一个目的地推荐背后的人工智能反馈循环，捕捉算法建议如何影响个体行为，进而重塑用于重新训练模型的数据。我们的仿真基于实际的移动数据，系统地探讨了各种推荐策略下的算法采用的影响。我们发现，推荐系统虽然能够在个体层面增加访问场所的多样性，但也可能同时通过将访问集中于少数热门地点来加剧集体不平等。这种差异也扩展到社交共定位网络的结构，揭示了对城市可达性和空间隔离更广泛的影响。我们的框架实现了一个反馈循环，为下一个目的地推荐，并提供了一个新的视角，用于评估人工智能辅助移动的社会影响——提供了一个计算工具来预测未来风险、评估监管干预措施，并指导伦理算法系统的设计。
arXiv:2504.07872v1 宣布类型: 新
摘要: 我们提出了思考双引擎 (DEoT) 作为一种全面开放性推理的分析框架。传统推理框架主要专注于为单答案问题找到“最佳答案”或“正确答案”，而 DEoT 特别设计用于“开放性问题”，使其能够进行更广泛和深入的分析性探索。该框架围绕三个关键组件展开：一个基础提示器用于细化用户查询，一个解决代理负责任务分解、执行和验证，以及一个双引擎系统，包括广度引擎（探索多样化的因素影响）和深度引擎（进行深入调查）。这种集成设计使 DEoT 能够在广泛覆盖与深入分析之间取得平衡，并且高度可定制，允许用户根据具体需求调整分析参数和工具配置。实验结果表明，DEoT 在处理复杂、多方面的疑问方面表现出色，在与现有推理模型的总胜率方面达到了 77-86%，从而突显了其在实际应用中的有效性。
arXiv:2504.07856v1 宣告类型: 新颖
摘要: 将大型语言模型与人类偏好对齐对于其安全部署至关重要。虽然直接偏好优化(DPO)为从人类反馈中进行强化学习提供了一种高效替代方案，但传统的DPO方法受限于其对单一偏好配对的依赖。近期的工作如Curriculum-DPO通过基于配对区分性(PD)的一维难度课程整合了多个配对，但忽略了输入提示本身的复杂性。为解决这一问题，我们提出了一种名为2D-Curri-DPO的新框架，该框架采用二维课程来联合建模提示复杂性(PC)和配对区分性(PD)。该框架引入了双重难度度量来量化提示语义复杂性和响应偏好清晰度，定义了一种课程策略空间，涵盖了多种可选策略以适应任务，还整合了基于KL散度的自适应机制，以动态更新参考模型从而增强训练稳定性。全面的实验结果表明，2D-Curri-DPO在MT-Bench、Vicuna Bench和WizardLM等多个基准测试中显著优于标准DPO和先前的课程学习方法。我们的方法在具有挑战性的测试集UltraFeedback上实现了最先进的性能。消融研究证实了二维结构和自适应机制的优点，而分析为策略选择提供了指导。这些发现表明，有效的对齐需要同时建模提示复杂性和配对区分性，确立了自适应、多维课程学习作为一种强大且具有可解释性的新范式，用于基于偏好的语言模型优化。
arXiv:2504.07851v1 通知类型: 新
摘要: 神经符号人工智能的一种流行方法是将神经网络最后一层的输出，例如softmax激活，通过一个稀疏计算图传递，该图编码了希望施加的某些逻辑约束。这诱导了一个随机变量的概率分布，而在许多常用的神经符号人工智能模型中，这些随机变量实际上在条件上是相互独立的。这些条件上相互独立的随机变量被认为是有害的，因为在许多研究中观察到它们的存在与一种称为确定性偏向的现象相关，即系统学会在解决方案空间中一致地偏好一种有效的解决方案，而放弃其他解决方案。我们提供了反驳这一结论的证据，并表明确定性偏向现象是不恰当地应用神经符号人工智能的结果。
arXiv:2504.07841v1 宣布类型: 新颖
摘要: PIBT 是多智能体路径规划（MAPF）方法中的一个流行方法，也是诸如 LaCAM、CS-PIBT 和 WPPL 等许多最新 MAPF 方法的核心。PIBT 的主要优点在于它是一个非常快速且有效的单步 MAPF 解决器，并能在不到一毫秒的时间内为数百个智能体返回一个无碰撞的单步解决方案。然而，PIBT 的主要缺点是它在优先级方面非常贪婪，因此会导致解决方案质量较差。此外，PIBT 不能充分利用可用的所有规划时间，并且会尽快返回找到的第一个解决方案。因此，我们开发了 Anytime PIBT，它与 PIBT 一样快速找到一个单步解决方案，但随后会以随时可用的方式不断改进解决方案。我们证明，在充足的时间内，Anytime PIBT 会收敛到最优解。实验验证表明，Anytime PIBT 可在毫秒内迅速改进单步解决方案的质量，甚至找到最优的单步行动。然而，我们有趣地发现，改进单步解决方案的质量对全时间范围解决方案的成本几乎没有显著影响。