arXiv:2504.06037v2 通知类型: replace-cross
摘要：掩码语言建模是学习语言表示的一种广泛使用的方 法，其中模型在每个输入中预测一个随机掩码的词。然而，这种方法在训练过程中通常只考虑一个正确的答案，忽视了人类可能选择的多种合理的替代选项。当输入文本较短时，这一问题更为突出，因为可能的词分布通常具有较高的熵，这可能导致模型在预测时变得过于自信。为缓解这一问题，我们提出了一种新颖的置信度正则化方法，该方法根据输入长度自适应调整正则化强度。在 GLUE 和 SQuAD 基准测试上的实验结果显示，我们的方法在准确性和预期校准误差方面都有提升。
arXiv:2504.05755v2 宣告类型: replace-cross
摘要：人工智能（AI）正在以前所未有的速度发展，显示出增强决策和生产率的明显潜力。然而，人类与AI的合作决策过程仍处于初级阶段，往往未能充分利用其变革潜力。本文探讨了AI代理从被动工具向人类-AI团队中积极协作者的演变，强调了它们在复杂环境中的学习、适应和自主操作能力。这一范式转变挑战了传统团队动态，需要新的互动协议、委派策略和责任分配框架。基于团队态势感知（SA）理论，我们指出了当前的人类-AI团队研究中的两个关键缺口：一是难以使AI代理与人类的价值观和目标相一致，二是未能充分利用AI作为真正团队成员的能力。为了弥补这些缺口，我们提出了一种以人类-AI团队的四个关键方面为中心的结构化研究展望：策划、协调、维护和培训。我们的框架强调了共同认知模型、信任建设、冲突解决和技能适应对于有效团队的重要性。此外，我们讨论了不同团队构成、目标和复杂性带来的独特挑战。本文为未来的研究和可持续、高性能的人类-AI团队的设计提供了基础议程。
arXiv:2504.05741v2 Announce Type: replace-cross
摘要：扩散变压器展示了卓越的生成质量，尽管需要更长的训练迭代和更多的推理步骤。在每次去噪步骤中，扩散变压器将嘈杂的输入编码以提取低频语义成分，然后使用相同的模块解码高频成分。这种方案造成了一种固有的优化困境：提取低频语义需要减少高频成分，这在语义编码与高频解码之间产生了冲突。为了解决这一挑战，我们提出了一种新的去耦扩散变压器（Decoupled Diffusion Transformer，简称DDT），其设计包括一个专门用于提取语义的条件编码器和一个专业的速度解码器。我们的实验表明，当模型规模增加时，更为强大的编码器能够获得性能提升。对于ImageNet 256×256，我们的DDT-XL/2达到新的最先进性能（近4倍于前一代扩散变压器的训练收敛速度），FID得分为1.31。对于ImageNet 512×512，我们的DDT-XL/2达到新的最先进FID得分为1.28。此外，作为有益的副产品，我们的去耦架构通过使相邻去噪步骤能够共享自我条件而提高了推理速度。为了最小化性能退化，我们提出了一种新颖的统计动态规划方法以识别最优的共享策略。
arXiv:2504.05695v2 宣告类型: replace-cross
摘要: 我们证明了过度参数化的神经网络能够在测试误差方面实现与过度参数化级别无关并且与Vapnik-Chervonenkis (VC) 维数无关的泛化能力。我们证明了仅依赖于测试集和训练集的度量几何特征、激活函数的正则性性质以及权重的操作范数和偏差的范数的具体界。对于输入空间维度受限于训练样本大小的过度参数化的深ReLU网络，我们明确构造了无需使用梯度下降的零损失最小化器，并证明了泛化误差与网络架构无关。
arXiv:2504.05632v2 宣告类型: 替换-交叉
摘要：大规模生成语言模型的最新进展表明，推理能力可以显著提高模型在各种任务中的性能。然而，推理对模型减轻刻板印象反应能力的影响仍然很大程度上未被探索。在本文中，我们研究了模型的推理能力和公平性之间的关键关系，并询问改进的推理能力是否可以减轻有害的刻板印象反应，尤其是由于浅薄或不完善的推理引起的反应。我们对多个开源的大规模预训练语言模型进行了全面评估，并发现具有更强推理能力的更大模型在现有的公平性基准测试中表现出明显的较低刻板主义偏见。基于这一见解，我们提出了 ReGiFT——推理引导的微调，这是一种新颖的方法，通过从高级推理模型中提取结构化的推理痕迹，并将这些痕迹注入缺乏此类能力的模型中。我们仅使用通用推理，并不需要任何公平性特定的监督来减轻偏见。值得注意的是，我们发现使用 ReGiFT 微调的模型不仅在公平性方面优于其不具有推理能力的对应模型，还在公平性基准测试中表现更好。我们还分析了推理痕迹的正确性和长度的变化如何影响模型的公平性及其整体性能。我们的研究结果表明，增强推理能力是一种公平性无关的有效策略，可以减轻由推理缺陷引起的刻板印象偏见。
arXiv:2504.05141v2 宣告类型: 替换交叉
摘要：开放世界跟踪（OWT）旨在追踪任何类别中的所有对象，这要求模型具备强大的泛化能力。通过利用视觉语言模型（VLMs），跟踪器可以提高其泛化能力。然而，当将VLMs转移到OWT时，细调策略会遇到挑战：全量细调会导致过度的参数和内存成本，而零样本策略则导致性能不佳。为了解决这些问题，我们提出了EffOWT，以高效地将VLMs转移到OWT中。具体来说，我们在外围构建了一个小型且独立的学习侧网络，固定主干网络，并仅在侧网络上执行反向传播，从而满足了模型的效率要求。此外，EffOWT通过提出Transformer和CNN的混合结构来增强侧网络，在OWT领域中提高模型的性能。最后，我们在MLP中实现稀疏交互，从而显著减少了参数更新和内存成本。由于提出的方法，EffOWT在未知类别上的跟踪指标OWTA上取得了5.5%的绝对收益，与全量细调相比，仅更新了1.3%的参数，节省了36.4%的内存。其他指标也显示出明显改进。
arXiv:2504.04514v2 宣布类型: replace-cross
摘要：尽管大语言模型（LLMs）最近取得了成功，但在长序列推理场景中，受到注意力机制的二次计算复杂度的影响，LLMs特别具有挑战性。受神经网络模型中特征归因解释性理论的启发，我们观察到，并非所有标记的贡献程度相同。基于这一观察，我们提出了一种新颖的标记修剪框架，即基于显著性动态标记修剪（SDTP），以基于输入上下文逐步和动态地修剪冗余标记。具体来说，设计了一个轻量级的显著性驱动预测模块，用于根据每个标记的隐藏状态估算其重要性分数，并将其添加到LLM的不同层中，以层次化地修剪冗余标记。此外，我们提出了一种基于排名的优化策略，以最小化显著性得分和预测重要性得分的排名差异。广泛的实验表明，我们的框架在各类模型和数据集上具有普适性。通过层次化修剪输入标记的65%，我们的方法大大减少了33%至47%的FLOPs，推理速度提高了1.75倍，同时保持了类似的表现。我们进一步证明，SDTP可以与KV缓存压缩方法结合使用，以实现进一步的压缩。
arXiv:2504.04277v2 宣布类型: replace-cross
摘要：在这个人工智能 hype 的时代，传统的分类方法是否已经不再相关？我们展示了在多类分类问题中有预训练的预测模型能够整体上超越基于提示的大型语言模型（LLM）框架的情况。我们使用 Thumbtack 客户提供的家庭服务项目描述中的文本和图像，构建基于嵌入的 softmax 模型，预测每个问题描述所对应的专业人士类别（例如，巧手、浴室翻新等）。然后我们将基于嵌入的方法与要求最先进 LLM 模型解决相同问题的提示进行比较。我们发现，在准确度、校准性、延迟和财务成本方面，基于嵌入的方法优于最佳 LLM 提示。具体而言，基于嵌入的方法在准确度上比提示方法高出 49.5%，并且其优势在仅文本、仅图像和文本图像问题描述中都是一致的。此外，它提供了校准良好的概率，我们随后使用这些概率作为信心信号，在部署过程中提供上下文相关的用户体验。相反，提示分数过于不具信息性。最后，嵌入方法在处理图像和文本方面分别快了 14 倍和 81 倍，基于现实的部署假设，它最多可以便宜 10 倍。基于这些结果，我们部署了嵌入方法的一个变体，并通过 A/B 测试观察到性能与我们的离线分析一致。我们的研究显示，对于能够利用专有数据集的多类分类问题，基于嵌入的方法可能能够获得无可争议的更好结果。因此，科学家、实践者、工程师和商界领袖可以利用我们的研究超越 hype，考虑适合自己分类应用场景的适当预测模型。
arXiv:2504.03784v2 宣告类型：替换-交叉
摘要：强化学习从人类反馈（RLHF）已经成为了使大型语言模型（LLMs）的输出与人类偏好相一致的关键技术。为了学习奖励函数，大多数现有的RLHF算法使用布拉德利-特里模型，该模型依赖于关于人类偏好的假设，这些假设可能无法反映现实世界判断的复杂性和多变性。在本文中，我们提出了一种稳健算法，以在这样的奖励模型错指定的情况下提高现有方法的性能。理论上，我们的算法降低了奖励和策略估计器的方差，从而改善了遗憾界。在对大型语言模型基准数据集进行的实证评估中，所提出的算法在Anthropic有益和无辜数据集上的一致性表现优于现有方法，有77-81%的响应被青睐于基线方法。
arXiv:2504.03770v2 宣布类型：替换-交叉
摘要：多模态大型语言模型（MLLMs）在视觉-语言任务中表现出色，但也面临着生成有害内容的重大风险，尤其是通过逃逸攻击。逃逸攻击是指有意操纵以绕过模型的安全机制，导致生成不适当或不安全的内容。检测这类攻击对于负责任地部署MLLMs至关重要。现有的逃逸检测方法面临三个主要挑战：（1）许多方法依赖于模型隐藏状态或梯度，这限制了它们对白盒模型（即模型内部运作是可访问的模型）的应用；（2）它们涉及基于不确定性分析的高度计算开销，这限制了实时检测的能力；（3）它们要求使用完全标注的有害数据集，而在实际应用中这类数据集往往稀缺。为了解决这些问题，我们引入了一个测试时自适应框架，称为JAILDAM。我们的方法利用基于记忆的方法，并由策略驱动的安全知识表示引导，从而消除了需明确暴露于有害数据的需求。通过在测试时动态更新不安全的知识，我们的框架提高了对未见过的逃逸策略的泛化能力，同时保持了计算效率。在多个VLM逃逸攻击基准测试上的实验表明，JAILDAM在有害内容检测方面达到了最先进的性能，提高了准确性和速度。