arXiv:2503.18813v1 安全类型: cross
摘要: 大型语言模型（LLMs）越来越多地被部署在与外部环境交互的代理系统中。然而，当处理不受信任的数据时，LLM代理容易受到提示注入攻击的影响。在本文中，我们提出了一种名为CaMeL的稳健防御方法，它在LLM周围创建一个防护系统层，即使底层模型可能容易受到攻击，也能确保其安全性。为了运行，CaMeL明确地从（受信任的）查询中提取控制流和数据流；因此，LLM检索的任何不受信任的数据都无法影响程序流。为了进一步提高安全性，CaMeL依赖于一种能力的概念，以防止通过未经授权的数据流泄露私人数据。我们通过在最近的代理安全基准AgentDojo [NeurIPS 2024]中解决67%的任务，证明了CaMeL的有效性。
arXiv:2503.18792v1 类型: cross
摘要：大型语言模型，如 GPT 系列，已经推动了重要的工业应用，带来了经济和社會的变革。然而，对它们在现实生活中的应用仍缺乏全面的理解。为了解决这一问题，我们引入了 REALM，一个包含超过 94,000 个来自 Reddit 和新闻文章的大型语言模型使用案例的数据集。REALM 捕捉了两个关键维度：大型语言模型的多样化应用和使用它们的用户的人口统计信息。它对大型语言模型的应用进行了分类，并探讨了用户的职业与他们使用的应用类型之间的关系。通过整合真实世界的数据，REALM 为不同领域的大型语言模型的采用提供了见解，为它们在社会角色方面的演变提供了一个基础。一个专门的仪表板 https://realm-e7682.web.app/ 展示了这些数据。
arXiv:2503.18783v1 宣告类型: cross
摘要：虽然动态卷积（DY-Conv）通过结合注意力机制的多个并行权重实现了自适应权重选择，从而展示了有前景的性能，但这些权重的频率响应往往会表现出高度的相似性，导致高参数成本但适应性有限。在本文中，我们引入了频域动态卷积（FDConv），这是一种通过在傅里叶域中学习固定参数预算来缓解这些限制的新方法。FDConv 将这个预算分成具有独立傅里叶索引的频率基群，从而在不增加参数成本的情况下构建频率多样化的权重。为了进一步增强适应性，我们提出了核空间调节（KSM）和频带调节（FBM）。KSM 在空间级别动态调整每个滤波器的频率响应，而 FBM 在频域中将权重分解为不同的频率带，并根据局部内容动态调节它们。广泛的实验对象检测、分割和分类验证了 FDConv 的有效性。我们表明，当应用于 ResNet-50 时，FDConv 在参数数量仅增加 3.6M 的情况下实现了优越的性能，超越了需要显著增加参数预算的先前方法（例如，CondConv +90M，KW +76.5M）。此外，FDConv 平滑地集成到各种架构中，包括 ConvNeXt、Swin-Transformer，为现代视觉任务提供了灵活高效的解决方案。代码已公开发布在 https://github.com/Linwei-Chen/FDConv。
arXiv:2503.18773v1 类型: cross
摘要: 长上下文大语言模型(Large Language Models, LLMs)的逐步采用给自回归解码带来了显著的内存和计算挑战，因为关键值-值(Key-Value, KV)缓存的不断扩大。KV缓存量化已 emerged 作为一种有前景的解决方案，先前的工作表明，使用4位甚至2位量化可以在减少内存成本的同时保持模型精度。然而，尽管有这些优点，低位KV缓存的初步实现由于量化和反量化开销以及张量核心利用不足，难以实现预期的加速效果。在本文中，我们提出了BitDecoding，这是一种专为GPU优化的框架，能够利用张量核心实现低位KV缓存下的高效解码。由于在每次解码步骤中KV缓存生成的动态性质，高效利用低位KV缓存的张量核心具有挑战性。BitDecoding 通过一种以张量核心为中心的位融合方案解决了这些挑战，确保数据布局兼容性，从而能够充分利用张量核心。此外，BitDecoding 还包含了一个战程高效并行解码内核和一个细粒度的异步流水线，最小化了反量化开销并提高了计算效率。实验结果显示，与FP16的FlashDecoding-v2相比，BitDecoding 在RTX 4090上的加速比达到了7.5倍，在A100上的加速比达到了4.8倍，在H100上的加速比达到了8.9倍。它还比最先进的低位KV缓存实现(QServe)在某些情况下提高了4.3倍的表现。在LLaMA-3.1-8B模型下，序列长度为128K时，BitDecoding 将单批次解码延迟减少了3倍，展示了其在长上下文生成场景中的有效性。源代码可在 https://github.com/DD-DuDa/BitDecoding 获取。
arXiv:2503.18762v1 宣布类型: cross
摘要: 机制可解释性提高了大型AI模型的安全性、可靠性和鲁棒性。本研究检查了在包含不相关信息（轴标签、标题、颜色条）的扭曲2D频谱图上微调的视觉变换器（ViTs）中的个体注意力头。通过引入多余特征，本研究分析了变换器组件如何处理与任务无关的信息，使用机制可解释性来调试问题并揭示变换器架构的见解。注意力图评估了各层中的头贡献。在早期层（1到3）的头显示了最小的任务影响，移除这些头导致MSE损失略有增加（μ=0.11%，σ=0.09%），表明它们专注于不太关键的底层特征。相比之下，较深的头（例如，第6层）导致了三倍更高的损失增加（μ=0.34%，σ=0.02%），表明了更高的任务重要性。中间层（第6到第11层）表现出单调行为，仅关注 chirp 区域。一些早期头（1到4）也表现出单调行为，但与任务无关（例如，文本检测器、边缘或角检测器）。注意力图区分了单调头（精确的 chirp 定位）和多义头（多个无关区域）。这些发现揭示了ViTs中的功能特化，显示了头如何处理相关信息与多余信息。通过将变压器分解为可解释的组件，这项工作增强了模型理解，识别了漏洞，并推动了更加安全和透明的AI。
arXiv:2503.18755v1 类别: cross
摘要：第一人称开放手术视频捕捉了准确建模手术程序和手术室中人类行为所需的重要而细致的细节。对手和手术工具的详细像素级理解对于解读外科医生的动作和意图至关重要。我们介绍了EgoSurgery-HTS，这是一个新的数据集，带有像素级注释和对手术工具、手以及手工具交互分割的基准测试套件。具体来说，我们提供了（1）14种不同手术工具的实例分割标签数据集，（2）手的实例分割标签数据集，以及（3）手工具分割标签数据集以标记手和它们操控的工具。使用EgoSurgery-HTS，我们对最先进的分割方法进行了广泛的评估，并证明了与现有数据集相比，在第一人称开放手术视频中对手和手工具分割的准确性有了显著提高。该数据集将在https://github.com/Fujiry0/EgoSurgery发布。
arXiv:2503.18751v1 Announce Type: cross
摘要：构式语法假定语言的知识主要由构式（包括词汇、通用的语法规则，甚至独特的模式）的形式-意义对组成。近期的研究表明，变换器语言模型至少能够表示某些构式的模式，包括整体上较为罕见的构式模式。在本文中，我们探索了BERT对于英语中一个次要构式，即NPN（名词-介词-名词）构式的形式和意义的表示——例如，在“面对面”和“日复一日”这类表达中展现出来的，并且是多义的。我们构建了一个语义标注语料库（包括表面上看起来类似于该构式的干扰项）。利用这个数据集，我们训练并评估了一些探查分类器。它们能够较好地区分该构式和干扰项，以及对实际的该构式实例进行多义性消歧，并揭示了BERT嵌入中包含了该构式的语义暗示。此外，人为地改变实际构式实例的词序会导致它们被拒绝，这表明了对形式问题的敏感性。我们得出结论，BERT至少在一定程度上隐含编码了超越表面句法模式和词素线索的NPN构式的某些知识。
arXiv:2503.18706v1 类别:交叉领域
摘要:高效网络建模是下一代大规模复杂网络中资源优化和网络规划的关键。传统方法，如基于排队理论的建模和基于包的仿真器，可能会因为假设和计算成本的问题而效率低下。为了解决这些挑战，我们提出了一种基于图神经网络（GNN）的创新性的能量高效动态编排模型训练和推理框架，用于上下文感知的网络建模和预测。我们开发了一种低成本的解决方案框架QAG，这是一种量子近似优化（QAO）算法，用于GNN为基础的网络建模的自适应编排。我们利用三分图模型来表示一个具有多个计算节点的多应用系统。随后，我们利用QAO进行约束下的图切分，以寻找GNN为基础的模型的能量高效配置，并将其部署在可用的计算节点上，以满足网络建模应用的需求。所提出的QAG方案几乎等同于最优解，并至少提供50%的能量节约，同时将应用变更率降低60%，以满足应用需求。
arXiv:2503.18684v1 宣布类型: cross
摘要：持续适应对于通用自主代理是必不可少的。例如，一个在一系列技能上进行预训练的家庭机器人，仍然需要适应每个家庭特有的未见过的任务。受此启发，在构建于语言模型参数高效微调之上，先前的工作已经探索了轻量级适配器来适应预训练策略，这些适配器可以在保持预训练阶段学到的功能的同时，表现出良好的适应性能。然而，这些方法将任务学习分开处理，限制了任务之间的知识转移。在本文中，我们提出了一种在线元学习适配器 (OMLA)。与直接应用适配器不同，OMLA 可通过一种新型的元学习目标，促进先前学习任务的知识在当前学习任务中的转移。在模拟环境和现实世界环境中的大量实验结果表明，OMLA 相较于基线方法可以实现更好的适应性能。项目链接: https://ricky-zhu.github.io/OMLA/。
arXiv:2503.18681v1 交叉类型: 宣布
摘要：讽刺检测作为自然语言处理（NLP）领域的一项关键研究方向，已经引起了广泛的关注。传统讽刺检测任务通常集中于单一模态方法（例如，文本），但由于讽刺的隐含性和微妙性，这样的方法往往不能取得令人满意的结果。近年来，研究人员将讽刺检测的重点转向多模态方法。然而，有效地利用多模态信息来准确识别讽刺内容仍是一个值得进一步探索的挑战。利用多模态大型语言模型（MLLMs）的多种信息来源的强大集成处理能力，我们提出了一种创新的多模态Commander-GPT框架。受军事策略的启发，我们首先将讽刺检测任务分解为六个不同的子任务。一个中央指挥官（决策者）然后指派最适合的大型语言模型来解决每个具体的子任务。最终，每个模型的检测结果被聚合以识别讽刺。我们在MMSD和MMSD 2.0上进行了广泛实验，使用了四种多模态大型语言模型和六种提示策略。我们的实验表明，我们的方法取得了最先进的性能，F1分数提高了19.3%，且不需要微调或真实理由。