arXiv:2502.08556v1 类型: cross
摘要：人类的理解与生成能力对于建模数字化人类和类人实体至关重要。最近，受通用模型如大型语言和视觉模型成功启发的人本中心基础模型（HcFMs）出现，将多种人本中心任务统一到单一框架中，超越了传统的特定任务方法。在本文综述中，我们提出了一种分类法，将当前的方法分为四类，以全面概述HcFMs：（1）人本中心感知基础模型，捕捉多模态2D和3D的细粒度特征。（2）人本中心AIGC基础模型，生成高质量、多样化的与人类相关的内容。（3）统一感知和生成模型，将这些能力结合起来，增强人类的理解和合成。（4）人本中心自主基础模型，超越感知和生成，学习类似人类的智能和交互行为，用于类人实体任务。我们回顾了最先进的技术，讨论了新兴挑战和未来的研发方向。本文综述旨在为致力于更 robust、灵活和智能的数字化人类和实体建模的研究人员和实践者提供路线图。
arXiv:2502.08554v1 类型: cross
摘要: 大型语言模型(LLMs)可以生成听起来流畅且令人信服的错误响应，这增加了用户将这些响应视为正确的风险。减轻这种过度依赖是一个关键挑战。通过让参与者使用包含LLM的应用程序回答客观问题的口头表达研究，我们识别了几个影响用户依赖性的LLM响应特征：解释（答案的支持细节）、解释中的不一致性和来源。通过一项大规模、预先注册且受控的实验（N=308），我们隔离并研究了这些特征对用户依赖性、准确性及其他指标的影响。我们发现，存在解释会增加用户对正确和错误响应的依赖性。然而，当我们提供来源或解释表现出不一致时，用户对错误响应的依赖性较少。我们讨论了这些发现对促进适当依赖LLMs的影响。
arXiv:2502.08550v1 交叉类型公告
摘要：从错误中学习是人类智能的基本特征。以往研究表明，当提供详细的错误答案解释或如何纠正错误的答案时，大规模语言模型（LLMs）也可以从错误答案中学习。在这项工作中，我们探讨在未提供此类解释的情况下，LLMs是否可以从数学推理任务中的错误中学习。我们研究LLMs是否能够仅通过观察不正确和正确的答案来隐含推断出这种解释。令人惊讶的是，我们发现，当从上下文中消除解释并仅显示不正确和正确的答案时，LLMs的平均表现更好。这种方法在我们的评估中还显著优于链式思考提示。我们展示了这些结果在不同规模和不同推理能力的LLMs中是一致的。此外，我们进行了深入分析，并展示了使用不正确和正确答案的提示比引入更多样化的其他问题-答案对获得了更好的性能和更好的泛化能力。最后，我们表明，仅观察过不正确和正确答案的模型生成的新解释，由人类评估的得分与使用示范解释生成的解释相当。我们的结果显示，LLMs确实具备上下文中的隐含学习能力。
arXiv:2502.08534v1 Announce Type: 横向
摘要：本文提出了一种新的神经网络框架，用于各向同性超弹性力学，该框架同时强制执行必要的物理和数学约束，并满足通用逼近定理。该框架的两个关键组成部分是输入凸网络架构和变形梯度的符号奇异值的本原多项式形式。与先前发表的网络一致，它能够严格捕捉框架无关性和多凸性——以及进一步的约束如角动量守恒和生长条件。然而，与先前的网络不同，本文提出了一个通用逼近定理。更具体地说，所提议的网络可以逼近任何框架无关的、各向同性的多凸能（前提是网络足够大）。这是通过使用框架无关的、各向同性的多凸函数的充分必要条件来实现的。与现有方法的比较研究揭示了所提议方法的优势，特别是在逼近非多凸能以及计算多凸包方面。
arXiv:2502.08518v1 宣告类型: cross
摘要: 在边缘计算场景中，联邦学习（FL）越来越被采用，其中大量异构客户端在受限或充足的资源下运行。传统的FL迭代训练过程引入了显著的计算和通信开销，这对资源受限的边缘设备不太友好。一次性FL已经作为一种减轻通信开销的有前景的方法出现，而模型异构的FL解决了客户端之间多样化的计算资源问题。然而，现有的方法在有效管理模型异构的一次性FL方面面临着挑战，往往导致全局模型性能不佳或依赖辅助数据集。为了解决这些挑战，我们提出了一种新的FL框架，称为FedMHO，该框架在资源充足的客户端上利用深度分类模型，在资源受限的设备上利用轻量级生成模型。在服务器端，FedMHO涉及一个两阶段过程，包括数据生成和知识融合。此外，我们提出了FedMHO-MD和FedMHO-SD来缓解知识融合阶段的知识遗忘问题，并提供了一个无监督的数据优化解决方案以提高合成样本的质量。全面的实验结果表明了我们方法的有效性，因为在各种实验设置中，它们都优于最先进的基线方法。
arXiv:2502.08512v1 宣告类型: cross
摘要: 大型语言模型（LLMs）广泛用于生成各种自然语言处理（NLP）任务所需的合成数据集，例如文本分类和总结。然而，准确测量这些合成数据集的多样性——这对于模型稳健性而言是至关重要的一个方面——仍然是一个重大挑战。在本文中，我们介绍了DCScore，这是一种从分类视角衡量合成数据集多样性的新方法。具体来说，DCScore将多样性评估形式化为一个样本分类任务，利用样本之间的相互关系。我们还提供了对DCScore满足的多样性相关公理的理论验证，突显了其作为原理上多样性的评估方法的角色。在合成数据集上的实验结果表明，DCScore在多个评估数据集的多样性伪真实值上具有更强的相关性，突显了其有效性。此外，实证和理论证据表明，与现有方法相比，DCScore显著降低了计算成本。代码可在以下地址获取：https://github.com/BlueWhaleLab/DCScore。
arXiv:2502.08482v1 类型: cross
摘要: 链式思维(Chain-of-Thought, CoT)提示已经作为一种增强语言模型推理能力的强大力量而浮出水面。然而，生成长且正确的CoT轨迹具有挑战性。最近的研究表明，循环Transformer具有显著的长度泛化能力，但它们的局限性泛化和适应性限制了它们作为自回归解决方案的替代品的能力。为了更好地利用循环Transformer的优势，我们提出了一种名为RELAY（循环连接的迭代推理）的方法。具体而言，我们将链式思维(CoT)推理的步骤与循环迭代对齐，并在循环Transformer的训练过程中应用中间监督。这种额外的迭代监督不仅保留了循环Transformer的长度泛化能力，还使其能够预测未见过的数据的CoT推理步骤。因此，我们利用这个循环Transformer为超过训练长度的复杂问题生成准确的推理链，然后用于微调自回归模型。我们进行了广泛的实验，结果表明了我们方法的有效性，并在自回归模型的性能上取得了显著提升。代码将在https://github.com/qifanyu/RELAY发布。
arXiv:2502.08474v1 交叉公告类型
摘要：尽管网络剪枝已经被广泛应用于压缩深度神经网络，但其结果的准确性很大程度上依赖于一个常常代价高昂且需要原始数据的微调过程。然而，在实际场景中这并不一定适用，因此一些最近的工作尝试在不需要任何昂贵重新训练过程的情况下恢复剪枝网络。它们的一个强假设是每个被剪枝的神经元都可以被另一个几乎完全相同的神经元替代，但是很遗憾，在许多神经网络中，某些层内的神经系统之间的相似性非常低。在本文中，我们提出了一种在无需微调和无需数据的情况下恢复剪枝网络的更严格且更稳健的方法，称为LBYL（Leave Before You Leave）。LBYL通过一种方式显著放宽了上述假设，即每个被剪枝的神经元尽可能多地传递其信息给保留的神经元，从而使得多个神经元一起可以得到原始神经元刚离开时的更稳健的近似值。我们的方法基于如何公式化原始网络与其近似网络之间的重构误差的理论分析，这很自然地引导出我们导出的损失函数的闭式解。通过对大量的实验，LBYL被证实确实更有效地近似原始网络，从而使得恢复后的网络能够获得更高的准确性。相较于利用两个神经元之间相似性的最近方法，LBYL在效果上显得更为有效。本文的最初版本包含主要的技术和理论成分，已在2021年NeurIPS和2022年ICML提交。
arXiv:2502.08468v1 公布类型: cross
摘要：多模态嵌入模型因其能够将不同模态的数据，如文本和图像，映射到统一的表示空间而受到了显著的关注。然而，有限的标记多模态数据常常限制了嵌入性能。近期的方法利用数据合成来解决这一问题，但合成数据的质量仍然是一个关键的瓶颈。在本文中，我们识别了高质量合成多模态数据的三个标准。首先，广泛的应用范围确保生成的数据涵盖了多种任务和模态，使其适用于各种下游场景。其次，鲁棒的跨模态对齐使得不同模态在语义上保持一致。第三，高保真度确保合成数据维持了现实的细节，以增强其可靠性。遵循这些原则，我们合成了以下数据集：(1) 包括广泛的任务、模态组合和语言，(2) 通过单一通过多模态大型语言模型的深度思考过程生成，(3) 融入了带有准确和相关文本的真实世界图像，并通过自我评估和改进确保了保真度。利用这些高质量的合成和标记数据集，我们训练了一个多模态多语言E5模型mmE5。广泛实验表明，mmE5在MMEB基准测试中达到了最先进的性能，并在XTD基准测试中实现了卓越的多语言性能。我们的代码、数据集和模型发布在https://github.com/haon-chen/mmE5。
arXiv:2502.08453v1 会议类型: 跨领域
摘要: 自从1982年在马赛举行的第一次会议以来，国际逻辑编程会议（ICLP）一直是逻辑编程研究的顶级国际盛会。这些论文集包含了在2023年10月14日至17日于美国德克萨斯州达拉斯举行的第40届ICLP上的技术通讯和会议摘要。本卷中的论文和摘要涵盖了以下领域和主题。 形式和操作语义：包括非单调推理、概率推理、论证以及将逻辑与神经模型结合的语义问题。 语言设计与编程方法论，如回答集编程、归纳逻辑编程、概率编程。 程序分析和基于逻辑验证生成的程序。 实现方法论，包括约束实现、表处理、基于逻辑的提示工程，以及逻辑编程与LLMs的交互。