arXiv:2502.10458v1 型别: cross
摘要：本文提出了 ThinkDiff，这是一种新颖的对齐范式，通过将视觉语言模型（VLM）的优势集成到其中，为文本到图像扩散模型赋予了多模态上下文理解和推理能力。现有的多模态扩散微调方法主要集中在像素级重建，而不是上下文推理，且受到推理数据集复杂性高且可获得性有限的限制。ThinkDiff 通过利用视觉语言训练作为代理任务来应对这些挑战，将 VLM 与编码器-解码器大型语言模型（LLM）的解码器对齐，而不是与扩散解码器对齐。该代理任务基于以下观察：LLM 解码器与使用相应 LLM 编码器进行提示嵌入的扩散解码器共享相同的输入特征空间。因此，通过与 LLM 解码器对齐，可以简化与扩散解码器的对齐过程。在无需复杂训练和数据集的情况下，ThinkDiff 有效地释放了扩散模型的理解、推理和组合能力。实验表明，ThinkDiff 在具有挑战性的 CoBSAT 多模态上下文推理生成基准测试上，准确率从 19.2% 提高到 46.3%，仅用了 4 块 A100 GPU 训练 5 小时。此外，ThinkDiff 在组合多个图像和文本以生成逻辑连贯的图像方面表现优异。项目页面：https://mizhenxing.github.io/ThinkDiff.
arXiv:2502.10454v1 交叉类型：cross
摘要：利用数学大型语言模型（LLMs）进行证明生成是LLMs研究中的一个基本课题。我们认为，当前LLMs能否证明命题主要取决于它们在训练过程中是否遇到过相关的证明过程。这种依赖限制了它们对数学定理及相关概念的更深层次理解。受人类数学教育中常用的“反例证明法”启发，我们的工作旨在通过反例增强LLMs进行数学推理和证明的能力。具体来说，我们手动创建了一个高质量的大学水平数学基准数据集CounterMATH，要求LLMs通过提供反例来证明数学命题，从而评估它们对数学概念的掌握程度。此外，我们开发了一个数据工程框架，以自动获取进一步模型改进所需的训练数据。广泛的实验证明和详细分析表明，CounterMATH具有挑战性，表明诸如OpenAI的o1这样的LLMs缺乏足够的基于反例的证明能力。另外，我们在模型训练中的探索表明，加强LLMs的基于反例的概念推理能力对于提高它们整体的数学能力至关重要。我们认为，我们的工作为数学LLMs社区提供了新的视角。
arXiv:2502.10453v1 交叉类型公告
摘要：归因标签是现代加密货币取证的基础。然而，不一致或错误的标签可能会误导调查，甚至导致错误的指控。为了解决这个问题，我们提出了一种基于大型语言模型（LLMs）的新型计算方法，将归因标签与清晰定义的知识图谱概念联系起来。我们在此方法中实现了一个端到端的工作流程，并进行了实验，结果显示，在三个公开可用的归因标签数据集中，我们的方法在F1分数上比基线方法高出多达37.4%。通过集成概念过滤和阻止程序，我们生成包含五个知识图实体的候选集，无需标注数据即可实现93%的召回率。此外，我们证明了局部LLM模型可以实现90%的F1分数，与远程模型相比仅差4%，而远程模型实现94%的F1分数。我们还分析了各种LLM和提示模板的成本-性能权衡，显示选择最具成本效益的配置可以将成本降低90%，同时性能下降仅为1%。我们的方法不仅提高了归因标签的质量，也为培养更可靠的证据提供了蓝图。
arXiv:2502.10450v1 交叉类型: cross
摘要：人工智能系统的功能已经取得了极大的进步，但这些系统仍然在故障模式、脆弱性和偏差方面存在困难。在本文中，我们研究了该领域的现状，并提出了关于挑战AI模型可信度的关切方面的有前途的见解和视角。特别是，本文探讨了与安全、隐私和偏差这三个方向相关的問題，这些问题损害了模型的可信度。在安全性方面，我们讨论了在大型语言模型的背景下实现安全性对齐，防止它们生成有毒或有害内容。在偏差方面，我们关注那些可能导致网络误导的虚假偏差。最后，在隐私方面，我们涵盖了深度神经网络中的成员推理攻击。本文中的讨论反映了我们的实验和观察结果。
arXiv:2502.10442v1 公告类型：交叉
摘要：在顺序学习诸多任务的自主机器学习系统中，灾难性遗忘问题较为常见。为了理解连续学习过程中遗忘的范围，需要数学理论的支持。为实现这一目标的基础步骤，我们从理论角度研究了在没有明确防止遗忘的算法机制的梯度下降设置下的连续学习和灾难性遗忘问题。在该设置下，我们通过分析证明，过参数化本身可以在线性回归模型的背景下减轻遗忘。我们考虑了一个由排列任务启发的双任务设置，并展示了随着过参数化比例变得足够高，按顺序在两个任务上训练的模型可以为第一个任务提供低风险估计器。作为这项工作的部分内容，我们为单一线性回归任务建立了非渐进风险边界，这在双下降理论领域可能具有独立的兴趣。
arXiv:2502.10440v1 宣布类型：交叉
摘要：大型语言模型（LLMs）通过检索增强生成（RAG）机制越来越多地集成到实际应用中，以补充其响应的最新和领域特定知识。然而，RAG所使用的知识库的宝贵且常为专有的性质会引入未经授权使用的风险。现有的一些可以通过通用为水印技术来保护这些知识库的方法通常涉及污染攻击。然而，这些方法需要修改验证样本的结果（例如，生成错误的输出），这不可避免地使其容易被异常检测，并且还会引入新的安全风险。为了解决这些挑战，我们提出了 \name{} 以实现知识库的“无害”版权保护。与其操控LLM的最终输出，\name{} 在思维链（CoT）推理的空间中植入独特的验证行为，保持最终答案的正确性。该方法有三个主要阶段：（1）**生成CoTs**：对于每个验证问题，我们生成两个CoTs，包括一个目标CoT以构建水印行为；（2）**优化水印短语和目标CoTs**：我们在黑盒设置的可疑LLM条件下优化它们，确保带有水印的验证查询激活目标CoTs，而在未带水印的查询中则不会激活；（3）**所有权验证**：我们利用配对的威尔斯ón秩和检验（Wilcoxon paired test）来统计验证可疑LLM是否被集成到受保护的知识库中，通过比较其对带有水印和无害验证查询的响应来进行验证。我们在多个基准测试上的实验表明，\name{} 有效地保护了知识库免受未经授权的使用，同时保持了RAG的完整性和性能。
arXiv:2502.10439v1 Announce Type: cross
摘要：远程代码执行（RCE）漏洞对AI和机器学习系统构成了重大威胁，尤其是在GPU加速环境中，GPU的计算能力可能被滥用以进行恶意目的。本文重点关注利用序列化漏洞和自定义层（如TensorFlow Lambda层）的RCE攻击，这些漏洞由于GPU工作负载监控的复杂性常常被忽视。这些漏洞使攻击者能够执行任意代码，使恶意活动无缝嵌入预期的模型行为，并利用GPU进行未经授权的任务，如加密货币挖矿。与传统的CPU基攻击不同，GPU的并行处理特性和高资源利用率使得运行时检测变得尤为困难。在本文中，我们对针对GPU的RCE攻击进行了全面研究，演示了一个利用这些漏洞部署加密货币挖矿程序的攻击。我们强调了此类攻击的技术复杂性，强调了其对重大金融成本和计算成本的潜在影响，并提出了缓解策略。通过揭示这个未充分探索的攻击向量，我们旨在提高人们的意识，并鼓励在基于GPU的AI和机器学习系统中采用稳健的安全措施，特别是在静态和模型扫描方面作为检测漏洞的更简便方法。
arXiv:2502.10438v1 攻击类型：交叉
摘要：针对LLMs的监狱逃脱后门攻击因其高效性和隐蔽性而引起了关注。然而，现有方法依赖于中毒数据集的构建以及耗时的微调过程。在这项工作中，我们提出了一种名为JailbreakEdit的新颖监狱逃脱后门注入方法，该方法利用模型编辑技术，在几分钟内以最小的干预将通用监狱逃脱后门注入到安全对齐的LLMs中。JailbreakEdit集成了多节点目标估计来估计监狱逃脱空间，从而创建从后门到此估计监狱逃脱空间的捷径，诱导监狱逃脱行为。我们的攻击通过将强语义附加到后门，有效地转移了模型的注意力，使其能够绕过内部的安全机制。实验结果表明，JailbreakEdit在监狱逃脱提示上实现了高监狱逃脱成功率，同时保持了生成质量，并在正常查询上保持了安全性能。我们的研究结果突显了JailbreakEdit的有效性、隐蔽性和可解释性，强调了需要在LLMs中开发更高级的防御机制。
arXiv:2502.10436v1 宣告类型: cross
摘要：进化模型合并能够创建高性能的多任务模型，但对于消费者硬件来说仍然具有计算上的限制。我们介绍了MERGE$^3$，这是一种高效的框架，通过将适应度计算成本降低50倍，使得在单个GPU上实现进化合并成为可能，同时保持性能不变。MERGE$^3$ 通过提取评估所需的小型数据集、利用项目反应理论（IRT）估计模型能力以及通过基于IRT的性能估计器实现最优合并，来实现这一点。我们的方法使得最先进的多语言和跨语言合并成为可能，能够在显著降低计算开销的同时，在不同语言之间转移知识。我们提供了理论保证，并公开了一个库，使高质量模型合并惠及更多人。
arXiv:2502.10435v1 Announce Type: cross
摘要：传统的多模态多标签情绪识别（MMER）方法通常假设视频中视觉、文本和声学模态的完全可用性。然而，在现实世界中的多人群体场景中，这种假设经常被违反，因为非发言人经常缺乏声学和文本输入，导致模型性能显著下降。现有的方法也倾向于将异质模态统一为单个表示，忽视了每个模态的独特特征。为了解决这些挑战，我们提出了RAMer（基于重建的对抗模型进行情绪识别），它利用了对抗学习通过重建特征来探索模态的共性和特性，这些特征通过对比学习得到增强。RAMer还引入了个性辅助任务，利用模态级注意力补充缺失的模态，从而改进情绪推理。为了进一步增强模型捕捉标签和模态间依赖关系的能力，我们提出了堆叠洗牌策略，以丰富标签与模态特定特征之间的关联。在三个基准数据集，即MEmoR、CMU-MOSEI和$M^3$ED上的实验表明，RAMer在二元和多方MMER场景中达到了最先进性能。