arXiv:2503.18891v1 宣传类型：交叉
摘要：基于大型语言模型（LLMs）的多代理系统（MAS）在协同解决问题方面显示出巨大的潜力。然而，它们仍然面临着低通信效率和次优任务表现的重大挑战，使得精心设计代理的通信拓扑结构尤为重要。受到高效团队中角色通常会动态调整的管理理论的启发，我们提出了AgentDropout，它通过优化通信图的邻接矩阵来识别不同通信轮次中的冗余代理和通信并消除它们，从而提高标记效率和任务表现。与最先进的方法相比，AgentDropout在提示标记消费上平均减少了21.6%，在完成标记消费上减少了18.4%，并且在任务上的性能提高了1.14。此外，扩展实验表明，AgentDropout在领域转移性和结构鲁棒性方面表现出显著的优势，揭示了其可靠性和有效性。我们在https://github.com/wangzx1219/AgentDropout发布我们的代码。
arXiv:2503.18871v1 类型: cross
摘要：模型预测控制（MPC）已被证明在连续控制任务中非常有效。当世界模型和价值函数可用时，提前规划一系列动作可以得到更好的策略。现有方法通常以无模型的方式获得价值函数和相应的策略。然而，我们发现这种方法在处理复杂任务时存在困难，导致策略学习效果不佳，价值估计不准确。为了解决这个问题，我们利用了MPC本身的优势。在本文中，我们引入了Bootstrapped Model Predictive Control（BMPC）这一新颖算法，以自助方式进行策略学习。BMPC通过模仿MPC专家来学习一个网络策略，并反过来使用该策略来指导MPC过程。结合基于模型的TD学习，我们的策略学习提供了更好的价值估计，进一步提高了MPC的效率。我们还引入了一种懒惰的重新分析机制，这使得模仿学习更加高效。在一系列不同的连续控制任务上，我们的方法均优于先前的工作。特别地，在具有挑战性的高维度运动任务上，BMPC显著提高了数据效率，同时提升了渐进性能和训练稳定性，训练时间相近，且网络规模更小。代码可以在https://github.com/wertyuilife2/bmpc获取。
arXiv:2503.18866v1 类型: cross
摘要: 语言模型（LM）预训练的计算扩展已经超过了人类撰写的文本的增长，导致担忧数据将成为LM扩展的瓶颈。为了在这种数据受限的背景下继续进行预训练，我们提出明确建模和推断文本生成过程中隐藏的思想可以显著提高预训练数据的效率。直观地说，我们的方法将网络文本视为冗长的人类思维过程的压缩最终结果，而隐藏的思想包含对数据高效学习至关重要的上下文知识和推理步骤。我们通过针对数学的数据受限连续预训练来实证证明了这种方法的有效性。我们首先展示了推断隐藏思想的合成数据方法显著提高了数据效率，在MATH数据集上的表现优于在相同量的原始数据上进行训练（5.7% → 25.4%）。此外，我们展示了在没有强教师的情况下进行隐藏思想推断，语言模型通过使用EM算法迭代提高训练LM的能力和带有思想增强的预训练数据质量，从而自我提升其性能。我们证明了一个1B规模的LM在其性能至少可以跨过三个迭代，并且在使用EM算法的E步骤进行更多的推断计算时，显著优于在原始数据上训练的基础模型。推断扩展和EM迭代的收益表明了在数据受限预训练扩展方面的新的机遇。
arXiv:2503.18862v1 交叉公告类型：transformer架构引入的挑战
摘要：尽管卷积神经网络（CNNs）长期以来被视为图像处理的标准，Transformer架构的引入已经挑战了这一地位。虽然在图像分类和分割任务中取得了优异的结果，但Transformer仍然不可避免地依赖于大规模的训练数据集，并且计算成本较高。一种新引入的Transformer变体——KV Transformer，在合成、NLP和图像分类任务中显示出有前途的结果，同时减少了复杂性和内存使用。特别是在需要局部推理的应用场景，如医学筛查应用中，这一点尤为重要。我们力求进一步评估KV Transformers在语义分割任务中的优越性，特别是在医学成像领域。通过直接对比传统和KV变体的相同基架构，我们提供了关于减少模型复杂性带来的实际权衡进一步的洞见。我们观察到参数数量和乘加操作有显著减少，而在直接与QKV实现进行比较时，大多数KV变体模型的性能相似。
arXiv:2503.18854v1 介绍类型: cross
摘要: 当前的视觉-语言模型(VLMs)在各种任务上展现出了卓越的能力，例如视觉问答。为了提升用户体验，近期的研究致力于使VLMs个性化以理解用户提供的概念。然而，这些研究主要集中在单一概念的个性化上，忽视了多个概念的存在及其相互作用，这限制了其在实际中的应用。本文提出了第一个多概念个性化范式MC-LLaVA。具体来说，MC-LLaVA采用了多概念指令微调策略，在单个训练步骤中有效整合了多个概念。为了降低联合训练相关的成本，我们提出了一种个性化文本提示，使用视觉令牌信息来初始化概念令牌。此外，在推理过程中，我们引入了个性化的视觉提示，通过聚合位置置信图来增强识别和绑定能力。为了推进多概念个性化研究，我们进一步贡献了一个高质量的指令微调数据集。我们仔细收集了电影中包含多个角色和对象的图像，并手动生成了多概念场景下的问题-答案样本，这些样本具有优异的多样性。全面的定性和定量实验表明，MC-LLaVA可以实现令人印象深刻的多概念个性化响应，为VLMs成为更好用户特定的助手铺平了道路。代码和数据集将在以下链接公开：$\href{https://github.com/arctanxarc/MC-LLaVA}{https://github.com/arctanxarc/MC-LLaVA}$。
arXiv:2503.18842v1 宣告类型: cross
摘要: 在AI伦理领域存在着大量研究工作。由于其突然性、数量庞大以及跨学科性，这种增长是混乱的。这使得跟踪争论变得困难，并且系统地描述AI伦理学家的目标、研究问题、方法和所需的专业知识变得困难。在这篇文章中，我展示了AI与伦理之间的关系可以至少以三种方式来刻画，这对应于三种广泛代表的AI伦理类型：伦理与AI、伦理在AI中以及AI的伦理。我阐明了这三种AI伦理的特点，刻画了其研究问题，并指出了每种类型所需的专业知识。我还展示了某些对AI伦理的批评是不恰当的，因为它们是从一种AI伦理的角度，对另一种具有不同目标的伦理类型进行的。总之，这项工作揭示了AI伦理的本质，并为更明智地讨论AI伦理学家的范围、方法和培训奠定了基础。
arXiv:2503.18836v1 交叉公告类型
摘要：磁共振成像（MRI）是一种重要的诊断工具，但由于其固有的长时间获取时间，降低了临床效率和患者的舒适度。最近在深度学习领域的进展，尤其是扩散模型的发展，已提高了加速MRI重建的效果。然而，现有扩散模型的训练通常依赖于完整采样数据，模型计算成本高，并且经常缺乏不确定性估计，限制了其临床应用。为了解决这些挑战，我们提出了一种新的框架，称为双域多路径自监督扩散模型（DMSM），它结合了自监督双域扩散模型的训练方案、一种轻量级的混合注意力网络用于重建扩散模型，以及多路径推理策略，以提高重建的准确性和效率以及可解释性。与传统的基于扩散的模型不同，DMSM消除了依赖于完整采样数据的训练所需的依赖性，使其在实际临床环境中更具实用性。我们在两个人体MRI数据集上评估了DMSM，结果显示它在保持细微解剖结构和在高加速因子下抑制伪影方面优于几种监督和自监督基准模型。此外，我们的模型生成的不确定性图与重建误差相关性良好，提供了有价值的临床可解释性指导，并有可能增强诊断信心。
arXiv:2503.18826v1 交叉类型
摘要：放弃分类器可以在难以分类的实例上选择不提供预测。弃权机制的设计旨在在 accepted 数据上交易分类器的性能，同时保证最小数量的预测。在这种情况下，当弃权机制仅减少数据中多数群体的错误时，往往会引发公平性问题，导致不同人口群体间的表现差异加剧。虽然存在许多旨在减少弃权时歧视的方法，但目前还没有能够在可解释性方面实现这一目标的机制。在这篇论文中，我们通过引入可解释且公平的弃权分类器（IFAC），填补了这一空白。IFAC 是一种基于不确定性和不公平性双重标准拒绝预测的算法。通过拒绝可能不公平的预测，我们的方法能够减少在未拒绝数据中的人口群体间错误率和正决策率的差异。由于基于设计可解释的拒绝标准，即基于规则的公平性检查和情景测试，我们创建了一个透明的过程，可以让人类决策者审查这些不公平的预测，并为他们做出更为公正的决策。这种可解释性尤其重要，鉴于最近的 AI 规定，任何高风险的决策任务都需要由人类专家监督，以减少歧视风险。
arXiv:2503.18817v1 宣布类型: cross
摘要：以往关于分布外检测（OoDD）的研究主要集中在单模态模型上。随着大型预训练视觉-语言模型（如CLIP）的出现，利用多模态表示的零样本和提示学习策略的OoDD方法已经涌现出来。然而，这些方法通常涉及到冻结预训练权重或仅部分调优它们，这可能对下游数据集来说不是最优的。在本文中，我们强调多模态微调（MMFT）可以实现显著的OoDD性能。尽管一些最近的工作证明了微调方法对OoDD的影响，但仍有很大的性能提升空间。我们研究了简单微调方法的局限性，探讨了它们为何未能充分利用预训练知识。我们实证分析表明，这个问题可能源于同分布（ID）嵌入中的模态差距。为了解决这一问题，我们提出了一种训练目标，该目标通过正则化图像和文本嵌入之间的距离来增强跨模态对齐，这有助于更好地利用预训练的文本信息，通过在超球体表示空间内使不同模态（如文本和图像）具有更相似的语义来充分利用预训练文本信息。我们从理论上证明，提出的正则化与超球面上的能量基模型的最大似然估计相对应。通过使用ImageNet-1k OoD基准数据集，我们展示了我们的方法，结合利用预训练知识的后置OoDD方法（如NegLabel），显著优于现有方法，实现了最先进的OoDD性能和改进的ID精度。
arXiv:2503.18816v1 宣传类型: cross
摘要: 在这项工作中，我们提出了一种基于局部性的因分解出的多智能体 actor-critic (Loc-FACMAC) 新颖的合作多智能体强化学习方法。现有的前沿算法，如 FACMAC，依赖于全局奖励信息，这可能无法准确反映分布式系统中单个机器人动作的质量。我们将在批判学习中集成局部性的概念，在训练过程中，密切相关的机器人将形成分区。同一分区内的机器人彼此的影响更大，从而提高了策略评估的精确度。此外，我们构建了一个依赖图来捕获机器人之间的关系，有利于分区过程的进行。这种方法减轻了维度灾，并防止机器人使用无关的信息。通过关注局部奖励并利用基于分区的学习来增强训练效率和性能，我们的方法改善了现有的算法。我们在三个环境中评估了 Loc-FACMAC 的性能：走廊、多_cartpole 和 有界协同导航。我们探讨了分区大小对性能的影响，并将结果与基线多智能体强化学习 (MARL) 算法，例如 LOMAQ、FACMAC 和 QMIX 进行比较。实验表明，如果局部性结构定义适当，Loc-FACMAC 的性能可以提高多达 108%，表明在演员-评论家框架中利用局部性结构可以提高 MARL 的性能。