arXiv:2502.07987v2 安全通告类型: 新增
摘要: 我们提出了一种针对多模态大型语言模型(LLMs)的通用对抗攻击，该攻击利用单张优化图像来跨越多种查询甚至多个模型绕过对齐防护措施。通过反向传播通过视觉编码器和语言头，我们制作了一张合成图像，迫使模型以目标短语（例如，“当然，这就是它”）或不安全的内容（即使是对有害提示也是如此）做出回应。在 SafeBench 基准测试中，我们的方法在某些模型上比现有基线方法取得了显著更高的攻击成功率，包括仅文本的通用提示（例如，某些模型高达93%）。我们还通过同时训练多个多模态LLMs并在未见过的架构上进行测试，展示了该方法在模型之间的可转移性。此外，我们方法的多答案变体生成了更自然（尽管仍然具有恶意性质）的回应。这些发现强调了当前多模态对齐中存在的关键漏洞，并呼吁开发更加健壮的对抗性防御措施。我们将按照Apache-2.0许可证发布代码和数据集。警告：本文中由多模态LLMs生成的一些内容可能对某些读者具有冒犯性。
arXiv:2502.07982v1 宣告类型: 新
摘要: 图学习由于其广泛的实际应用而引起了广泛关注。当前主流方法依赖于文本节点特征，并通过使用GNN的浅层嵌入学习来获得初始节点嵌入，这在捕捉深层文本语义方面显示出局限性。大规模语言模型（LLMs）的最新进展在理解文本语义方面表现出优越的能力，从而改变了传统文本特征处理。本文提出了一种结合图变换器架构和LLM增强节点特征的新型框架。具体来说，我们利用LLMs生成文本节点丰富的语义表示，然后通过图变换器中的多头自注意力机制来捕捉局部和全局图结构信息。我们的模型利用Transformer的注意力机制动态聚合邻域信息，同时保留LLM嵌入提供的语义丰富性。实验结果表明，LLM增强的节点特征显著提高了图学习模型在节点分类任务上的性能。该方法在多种图学习任务中表现出有希望的结果，为将图网络与语言模型结合起来提供了可行的方向。
arXiv:2502.07957v1 宣布类型: 新
摘要: 尽管近期研究表明在对比语言图像预训练（CLIP）框架下训练的语言视觉模型包含固有的社会偏见，但不同上游预训练特征如何与这些偏见相关联，以及因此固有偏见与下游性能之间的关系尚不清楚。在此项工作中，我们进行了迄今为止最为全面的分析，探讨CLIP模型的上游预训练因素与其固有偏见以及下游性能之间的关系。我们研究了131个独特的CLIP模型，这些模型在26个数据集上进行了训练，使用了55种架构，并且在不同规模下进行培训。我们使用26种已建立的一模性和跨模态原则嵌入关联测试来评估每个模型的偏见。我们发现，预训练数据集的选择是最显著的上游预测因子，而架构变化的影响微乎其微。此外，使用复杂筛选技术精心选择的旨在提高下游模型性能的数据库通常与较高的固有偏见水平相关联。最后，我们观察到，固有偏见通常与下游性能显著相关（$0.3 \leq r \leq 0.8$），表明为了优化性能而优化的模型无意中学会了放大表示偏见。一模性和跨模态关联测试之间的比较表明，社会群体偏见在很大程度上依赖于模态。我们的发现表明，需要更 sophisticated 的策略来解决整个模型开发管道中语言视觉模型的固有模型偏见问题。
arXiv:2502.07944v1 公告类型: 新
摘要: 我们报道了一种基于混合 SHACL-SKOS 本体的知识表示和推理（KRR）系统的开发，该系统用于全球和谐体系（GHS）材料安全数据表（SDS），以增强化学品安全沟通和监管合规性。SDS 是包含化学品安全和处理信息的全面文档，因此它们是工作场所安全和风险管理的重要组成部分。然而，来自多个组织、制造商和供应商的大量化学品安全数据表使得通过单一存储库集中和访问 SDS 文档变得具有挑战性。为了应对与化学品运输和处理相关的数据交换问题，我们构建了受 SHACL 验证的 SDS 相关受控词汇和条件，并通过 SKOS 将相似领域的知识系统进行链接。由此产生的混合本体旨在提供标准化但又可适应的 SDS 信息表示，从而在各种平台之间促进更好的数据共享、检索和集成。本文概述了我们的 SHACL-SKOS 系统架构设计，并展示了我们在工业应用中的实现，该实现简化了复合运输覆盖表的生成过程。
arXiv:2502.07850v1 通告类型: 新增
摘要：计算机已经改变了人类进行数学的方式：它们使我们能够高效地进行计算。但是它们很快会帮助我们进行推理吗？而有一天它们会不会开始自我推理？我们概述了近年来在神经网络、计算机定理证明器和大规模语言模型方面的最新进展。
arXiv:2502.07819v1 声明类型: 新
摘要：本文对近二十年的肾脏交换计划（KEP）的研究进行了全面回顾，系统地分类和归纳了关键贡献，为读者提供了一个结构化的理解该领域进展的方法。回顾强调了KEP方法论的发展，并为我们的贡献奠定了基础。我们提出了三种数学模型以提高肾脏移植的数量和质量。模型1通过基于血型和PRA的兼容性最大化移植数量，没有额外的约束条件。模型2引入了最小人类白细胞抗原（HLA）兼容性阈值以提高移植质量，但这也导致匹配数量减少。模型3将问题扩展到多代理肾脏交换计划（MKEP），通过多个代理人跨池化不兼容的捐赠者-受者配对，从而既增加了成功的移植数量，又确保了各代理人之间的公平性。敏感性分析表明移植数量和质量之间的权衡，而模型3通过利用多代理合作来同时提高移植数量和质量，达到了最佳的平衡。这些发现强调了更集成的肾脏交换系统潜在的好处。
arXiv:2502.07817v1 时序记忆动力学模型类型：新
摘要：本文提出了一种统一的理论框架，用于建模时间记忆动力学，结合了时间逻辑、记忆衰减模型和层次上下文的概念。该框架通过线性和分支时间模型形式化了命题随时间的演变，引入了指数衰减（艾宾浩斯遗忘曲线）和通过贝叶斯更新重新激活机制。记忆的层次组织使用有向无环图来建模回忆依赖性和干扰。新见解包括反馈动力学、记忆链中的递归影响以及基于熵的回忆效率的整合。该方法为理解认知和计算领域中的记忆过程提供了基础。
arXiv:2410.15633v4 移除交叉引用
摘要：对大语言模型进行调整以处理具有极长上下文的指令尚未得到充分研究。先前的研究尝试通过合成长指令跟随样本来扩展可用数据量，因为此类数据集的构建对注释员来说颇具挑战性。然而，缺乏有效的数据质量保障策略可能会引入低质量样本并限制模型性能。因此，我们提出了GATEAU，这是一种新颖的框架，用于通过识别富含长距离依赖关系的有影响力的样本来应对长上下文对齐的独特挑战。具体来说，GATEAU从两个关键方面衡量长距离依赖性：由于长距离依赖性导致生成目标响应的难度，以及由于此类依赖性导致理解长输入的难度。全面的实验表明，GATEAU有效地识别了有影响力的样本，并且在这些选定样本上训练的模型展示出了更好的指令遵循和长上下文理解能力。
arXiv:2502.07737v2 类型：交叉
摘要：下一个标记预测（NTP）是自回归（AR）视频生成的一种实际上的方法，但这种方式在单向依赖方面存在不足，并且推断速度较慢。在此项工作中，我们提出了一种半自回归（semi-AR）框架，称为下一个块预测（NBP）。通过均匀地将视频内容分解为等大小的块（例如，行或帧），我们将生成单位从单个标记转移到块，使得当前块中的每个标记能够同时预测下一个块中的相应标记。与传统的AR建模不同，我们的框架在每个块内部使用双向注意力，从而使标记能够捕捉到更 robust 的空间依赖性。通过并行预测多个标记，NBP 模型显著减少了生成步骤的数量，从而实现了更快、更高效的推断。我们的模型在 UCF101 上实现了 103.3 的 FVD 分数，在 K600 上实现了 25.5 的 FVD 分数，平均优于传统的 NTP 模型 4.4 分。此外，由于减少了推断步骤的数量，NBP 模型每秒生成 8.89 帧（分辨率为 128x128），实现了 11 倍的加速。我们还探索了从 700M 到 3B 参数的模型规模，观察到生成质量的显著提高，在 UCF101 上 FVD 分数从 103.3 下降到 55.3，在 K600 上从 25.5 下降到 19.5，表明了我们方法的可扩展性。
arXiv:2502.07693v2 交叉公告类型：跨领域
摘要：为了帮助用户做出与隐私相关的决策，近年来基于人工智能技术开发了个性化隐私助手。这些由人工智能驱动的个性化隐私助手（AI驱动的PPAs）可以为用户带来显著的好处，尤其是在充斥着隐私相关决策请求的环境中，用户可能会难以做出涉及个人数据的决策。然而，没有研究系统地调查了这些AI驱动的PPAs的特性、其底层技术或其决策的准确性。为填补这一空白，我们提出了一个知识体系结构化（SoK）来映射科学文献中现有的解决方案。我们在过去十年（2013-2023）中筛选了1697篇独特的研究论文，构建了一个由39篇纳入论文组成的研究分类。结果，这项SoK以出版物类型、贡献、方法学质量以及其他定量洞察等方面回顾了几项现有研究中的人工智能驱动的PPAs的研究。此外，我们还对人工智能驱动的PPAs进行了全面分类，深入探讨了它们的架构选择、系统上下文、所使用的人工智能类型、数据来源、决策类型以及对决策的控制等方面。基于我们的SoK，我们进一步指出了研究空白和挑战，并提出了关于人工智能驱动的PPAs的设计和发展以及未来研究方向的建议。