arXiv:2403.19647v3 宣告类型: replace-cross
摘要: 我们提出了一种发现和应用稀疏特征电路的方法。这些电路是由人类可解释的特征构成的具有因果关系的子网络，用于解释语言模型的行为。此前工作中识别出的电路包括多义且难以解释的基本单元，如注意力头或神经元，这使得它们不适合许多下游应用。相比之下，稀疏特征电路能够提供对未预见机制的详细理解。由于这些电路基于细粒度的基本单元，因此它们对于下游任务非常有用：我们介绍了SHIFT方法，通过消除一个人判断与任务无关的特征来提高分类器的泛化能力。最后，我们展示了一个完全无监督且可扩展的解释性流水线，通过自动发现数千个稀疏特征电路来解释模型行为。
arXiv:2402.11317v2 宣告类型: replace-cross
摘要：开发能够适应非平稳环境的策略对于实际的强化学习应用至关重要。然而，在只有有限数量的预先收集轨迹的离线设置中学习具有适应性的策略，提出了重大挑战。一个关键难点在于有限的离线数据使得上下文编码难以区分环境动力学的变化和行为策略的变化，通常会导致上下文误关联。为了应对这一问题，我们提出了一种称为快速在线适应的无偏离线表示（DORA）的新方法。DORA 结合了一个信息瓶颈原理，该原理旨在最大化动力学编码与环境数据之间的互信息，同时最小化动力学编码与行为策略动作之间的互信息。我们提出了 DORA 的一个实用实现，利用信息瓶颈原理的可计算界限。我们在六个具有可变参数的基准 MuJoCo 任务中的实验评估表明，DORA 不仅实现了更精确的动力学编码，还在性能方面显著优于现有基线。
arXiv:2310.04722v2 公告类型: 替换-交叉
摘要：本文旨在开发一种全方位的钢琴音质评估方法，以帮助购买决策。与以往研究主要关注钢琴演奏技巧对音质的影响不同，本研究评估的是不同钢琴的固有音质。为了得出质量评估体系，研究使用基于钢琴音质数据集的主观问卷。该方法通过比较不同预训练模型的卷积神经网络（CNN）微调结果，选择最佳的钢琴分类模型。为了提高模型的可解释性，研究应用了等效矩形带宽（ERB）分析。结果表明，音乐训练的个体更能区分不同钢琴音质的差异。最佳预训练的微调CNN主干作为钢琴分类器实现了98.3%的高准确性。然而，数据集有限，音频被切割以增加数量，导致缺乏多样性和平衡性，因此我们使用焦点损失来减轻数据不平衡的影响。为了优化该方法，未来研究将扩展数据集或采用少样本学习技术。
arXiv:2307.15220v4 Announce Type: replace-cross
摘要：最近外科计算机视觉应用的进步是由仅基于视觉的模型推动的，这些模型在设计中并未明确整合丰富的语言语义。这些方法依赖于手动标注的外科视频来预测一组固定的物体类别，这限制了它们对未见过的外科手术程序和下游任务的一般适用性。本文提出了一种观点，即可以通过开放的外科在线学习平台提供的外科手术视频讲座来提供有效的多模态视觉和语言监督信号，而无需依赖手动标注。我们利用多个互补的自动语音识别系统生成文字转录以应对外科手术视频讲座中存在的特定手术语言挑战。随后，我们提出了一种新颖的方法——SurgVLP（外科多模态预训练），用于多模态表示学习。在多样化的外科手术程序和任务中进行的大量实验表明，SurgVLP 学习到的多模态表示在手术视频分析中具有较强的泛化能力和适应性。此外，我们的零样本评估突显了SurgVLP 作为一种通用基础模型在手术工作流程分析中的潜力，减少了对大量手动标注的依赖，并促进了如少样本学习等适应方法的构建，以构建一种可扩展且数据高效的解决方案，用于各种下游外科应用。SurgVLP 的 [训练代码](https://github.com/CAMMA-public/SurgVLP) 和 [权重](https://github.com/CAMMA-public/PeskaVLP) 是公开的。
arXiv:2503.19470v2 通知类型: 替换
摘要：大型语言模型（LLMs）在推理方面展现了显著的能力，比如OpenAI-o1和DeepSeek-R1的成功。然而，将推理与外部搜索过程集成仍然具有挑战性，尤其是在处理需要多步检索的复杂多跳问题时。我们提出了ReSearch，这是一个新颖的框架，通过强化学习训练LLMs进行推理与搜索，而不使用关于推理步骤的监督数据。我们的方法将搜索操作视为推理链中的核心组件，在此过程中何时以及如何执行搜索由基于文本的思考引导，而搜索结果随后影响进一步的推理。我们使用Qwen2.5-7B(-Instruct)和Qwen2.5-32B(-Instruct)模型训练ReSearch，并进行了广泛的实验。尽管仅在一个数据集上进行训练，我们的模型在各种基准测试上显示出强大的泛化能力。分析表明，ReSearch在强化学习过程中自然地激发了诸如反思和自我纠正等高级推理能力。
arXiv:2502.13731v2 公告类型: 替换
摘要：本文解决了现有马尔可夫决策过程（MDP）反事实推理方法的一个关键局限性。当前的方法假设特定的因果模型以便使反事实可识别。然而，在一个MDP中，通常存在许多与观测分布和干预分布相一致的因果模型，每个模型都会导出不同的反事实分布，因此固定一个特定的因果模型会限制反事实推理的有效性（及其实用性）。我们提出了一种新颖的非参数方法，该方法在所有兼容的因果模型中计算反事实过渡概率的紧界。不同于之前需要求解难以处理的大型优化问题（变量随着MDP规模的增大呈指数增长）的方法，我们的方法提供了这些界的具体表达式，使得计算对于非平凡的MDP来说既高效又可扩展。一旦构造了这样的区间反事实MDP，我们的方法就能识别出针对不确定的区间MDP概率优化最坏情况奖励的稳健反事实策略。我们在各种案例研究中评估了我们的方法，展示了它相比现有方法的优越稳健性。
arXiv:2412.01095v2 宣告类型: 替换
摘要: 视觉语言模型（VLMs）的快速发展已经为视频异常检测（VAD）奠定了新的范式：利用VLMs同时检测异常并提供可理解的决策解释。现有工作中，这些方法常常假设用于VAD所需的复杂推理超出了预训练VLM的能力。因此，这些方法要么在推理过程中引入专门的推理模块，要么依赖于附加训练和指令调优数据集来适应VLM以用于VAD。然而，这些策略往往涉及巨大的计算成本或数据注释开销。为了解决可解释VAD中的这些挑战，我们引入了一个名为VERA的言文本学习框架，该框架使VLMs能够进行VAD而无需修改模型参数。具体而言，VERA自动将用于VAD所需的复杂推理分解为简单的、更聚焦的引导问题的反思，这些问题捕获了不同的异常模式。它将这些反思性问题视为可学习参数，并通过学习者和优化器VLM之间的数据驱动的言语互动进行优化，使用粗糙标记的训练数据。在推理过程中，VERA将学习到的问题嵌入到模型提示中，以指导VLMs生成段级异常评分，然后通过场景和时间上下文的融合将这些评分提炼为帧级评分。在具有挑战性的基准上的实验结果表明，VERA学习到的问题具有高度的适应性，显著提升了VLMs在VAD中的检测性能和可解释性。
arXiv:2411.18620v2 宣告类型: 替换
摘要: 最近在自回归多模态大型语言模型(MLLMs)方面的进展展示了在视觉-语言任务中取得的有前途的进展。虽然有许多研究探讨了大型语言模型中语言信息的处理机制，但对于MLLMs内部的工作机制以及视觉和语言信息在这些模型中的交互方式，目前了解还很少。在这项研究中，我们旨在通过研究MLLMs中不同模态——语言和视觉——之间的信息流来弥补这一空白，尤其是针对视觉问答任务。具体来说，给定一张图像和一个问题作为输入，我们研究了视觉和语言信息如何在模型中结合以生成最终预测。通过对LLaVA系列的一系列模型进行实验，我们发现整合这两种模态的过程中有两个不同的阶段。在较低的层中，模型首先将整个图像的更通用的视觉特征转移到问题词汇的表示中。在中间层，它再次将与问题相关特定对象的视觉信息转移到问题的相应词汇位置上。最后，在较高的层中，生成的多模态表示被传播到输入序列的最后一个位置以生成最终预测。总体而言，我们的发现为MLLMs中图像和语言处理的空间和功能方面的提供了新的和全面的观点，从而促进了未来关于多模态信息定位和编辑的研究。我们的代码和收集的数据集在此处发布：https://github.com/FightingFighting/cross-modal-information-flow-in-MLLM.git。
arXiv:2408.12692v2 声明类型：替换
摘要：最近在文本转图像模型方面的进展，如稳定扩散模型，显示出显著的人口统计学偏见。现有的去偏见技术严重依赖额外的训练，这会带来高昂的计算成本，并且存在损害核心图像生成功能的风险。这阻碍了它们在实际应用中的广泛应用。在本论文中，我们探讨了如何在无需额外训练的情况下利用稳定扩散模型的未充分利用的潜力来减少偏见。通过我们的分析，我们发现与少数属性相关的初始噪声形成了“少数群体区域”，而不是分散的。我们将这些“少数群体区域”视为在SD中减少偏见的机会。为了释放这一潜力，我们提出了一种名为“弱引导”的新型去偏见方法，精心设计以将随机噪声引导至少数群体区域，同时保持语义完整性。通过在各种版本的SD上的分析和实验，我们证明了我们提出的方法在无需额外训练的情况下有效减少了偏见，同时实现了高效性和核心图像生成功能的保留。
arXiv:2408.01072v3 宣告类型: 替换
摘要: 自己对战，由代理与其副本或过去版本之间的互动所定义，近年来在强化学习(RL)中取得了显著进展。本文首先澄清了自己对战的初步知识，包括多智能体强化学习框架和基本博弈论概念。然后，本文提供了一个统一的框架，并在该框架内对现有的自己对战算法进行分类。此外，本文通过展示自己对战在不同情境中的作用，缩小了算法与其实际影响之间的差距。最后，本文突出了自己对战领域中的开放挑战和未来研究方向。本文是理解RL中自己对战复杂景观的关键指南。