arXiv:2502.05424v2 宣告类型: replace-cross
摘要：图能够模拟在线服务中相互关联的实体，支持范围广泛的应用在Web上。这引起了一个重要问题：如何在一个多源领域训练图基础模型，并适应一个未见过的目标领域？主要障碍在于来自不同领域的图往往表现出不同的特性。一些研究利用大型语言模型根据与图相关的文本描述来对齐多个领域，这限制了它们在无文本标注的图上的应用。对于无文本的图，最近有一些工作试图在不同领域之间对齐不同的特征分布，但通常忽略了结构性差异。在本文中，我们提出了一个名为文本无标注多领域图预训练和跨领域适应的新结构对齐框架（SAMGPT）。该框架设计用于从多个源领域来源的图中学习多领域知识，然后可以根据未见过的目标领域的应用进行适应。具体而言，我们引入了一组结构标记，以在预训练阶段 harmonize 来自不同源领域的结构聚合。接下来，在跨领域适应过程中，我们设计了双提示，即全局提示和特定提示，分别适应统一的多领域结构知识和细微的领域特定信息，以应用于目标领域。最后，我们在七个公开数据集上进行了全面的实验，以评估和分析SAMGPT的有效性。
arXiv:2502.05209v2 宣布类型: 替换-交叉
摘要：对大型语言模型（LLM）风险和能力的评估越来越多地被纳入到AI风险管理与治理框架中。目前，大多数风险评估都是通过设计输入来引发系统的行为，从而使其表现出有害行为。然而，这种方法存在两个局限性。首先，输入-输出评估无法评估开放权重模型的现实风险。其次，在任何特定的输入-输出评估中识别的行为只能提供模型最坏情况输入-输出行为的下限。作为一种补充方法，我们提出使用修改潜在激活或权重的模型篡改攻击来评估LLM。我们将最先进的消除有害LLM能力的技术与一组5种输入空间攻击和6种模型篡改攻击进行了对比。除了相互基准测试这些方法外，我们还表明：（1）模型对抗能力引发攻击的韧性存在于一个低维稳健性子空间中；（2）模型篡改攻击的成功率可以通过实证数据来预测未见输入空间攻击的成功率，提供保守的估算；（3）最先进的遗忘方法在微调16步内可以轻易被逆转。这些结果突显了抑制有害LLM能力的难度，并表明模型篡改攻击能够比单独使用输入空间攻击提供更严格的评估。
arXiv:2502.03897v3 公告类型: replace-cross
摘要：随着扩散模型的兴起，音频-视频生成得到了革命性的改变。然而，现有的大多数方法依赖于各自独立的模块，对统一的生成架构探索有限。此外，许多方法仅限于单一任务和小型数据集。为了解决这些限制，我们首先提出了一种统一的多任务扩散变换器UniForm，它在一个共享的潜在空间中同时生成音频和视频模态。单个扩散过程同时捕获音频和视频之间的固有关联。其次，我们引入了特定任务的噪声方案和任务标记，使得单一模型能够支持多个任务，包括文本到音频-视频、音频到视频和视频到音频的生成。此外，通过利用大规模语言模型和大规模的文本-音频-视频组合数据集，UniForm在生成多样性方面超越了之前的方法。广泛的实验表明，UniForm在音频-视频生成任务中达到了最先进的性能，生成的内容不仅符合预期，而且接近实际数据分布。我们的演示可以在https://uniform-t2av.github.io/找到。
arXiv:2502.03206v3 公告类型: replace-cross
摘要：运动是类人机器人的一项基本技能。然而，现有大多数工作将运动视为单一、繁琐、不可扩展且不受约束的运动，这限制了类人机器人在运动学方面的能力。相比之下，人类拥有多种多样的运动能力，包括跑步、跳跃、跳跃以及精细调整步态参数（如频率和脚的高度）。在本文中，我们探讨了将这种多样性引入类人机器人运动中的解决方案，并因此提出了HugWBC：一种统一且通用的类人全身控制器，用于实现多样的运动。通过在任务和行为方面设计一个通用的命令空间，并结合如对称损失和干预训练等先进技术，HugWBC允许用可定制的参数（如频率、脚的摆动高度）在仿真中学习全身类人控制策略，从而具备产生各种自然步态的能力，包括步行、跳跃、站立和跳跃，并结合不同的身高、腰部旋转和身体俯仰。超越运动之外，HugWBC还支持来自外部上身控制器（如远程操作）的实时干预，使类人机器人能够在任何运动行为下以精确的方式执行操作-运动。广泛的实验验证了HugWBC在有/无上身干预情况下所有命令的高跟踪精度和鲁棒性，并进一步深入分析了各种命令对类人机器人运动的影响，以及这些命令之间的关系。据我们所知，HugWBC是第一个支持如此多样且具有高鲁棒性和灵活性的运动行为的类人全身控制器。
arXiv:2502.01436v2 宣布类型：替换-交叉
摘要：大型语言模型（LLMs）获得了前所未有的重视，已在多种领域得到广泛应用，并深入影响社会。对通用大语言模型（如生成预训练变压器GPT）进行特定任务的微调，促进了众多定制GPT的出现。这些定制模型越来越多地通过专门的市场，如OpenAI的GPT Store提供。然而，它们的黑盒性质带来了重大的安全和合规性风险。在本文中，我们提出了一种可扩展的框架，用于自动评估定制GPTs与OpenAI使用政策的符合性，这些政策规定了这些系统的行为。我们的框架整合了三个核心组件：（1）从GPT商店自动发现和收集模型，（2）针对特定政策类别和每个目标GPT特征定制的红队提示生成器，以及（3）利用LLM作为法官的技术分析每对提示-响应对，以识别潜在的政策违反行为。我们通过手动标注的地面真实情况验证了该框架，并通过涵盖782个定制GPT的大型研究，分别在三类中进行评估：浪漫型、网络安全型和学术型GPTs。我们的手动标注过程在识别政策违规行为方面获得了0.975的F1 score，证实了该框架评估的可靠性。结果表明，所分析的58.7%的模型显示出非合规的迹象，揭示了GPT Store审查和批准过程中的脆弱性。此外，我们的研究结果表明，一个模型的受欢迎程度与合规性无关，且大多数非合规问题源于基模型固有的行为，而不是用户驱动的定制。我们认为这种方法可以扩展到其他聊天平台和政策领域，从而提高基于大语言模型系统的安全性。
arXiv:2502.00757v2 宣告类型: replace-cross
摘要：将大型语言模型（LLMs）编织进多代理系统通常能够提高复杂任务的表现，但这种编织的安全影响尚未得到充分探索。我们引入了AgentBreeder框架，这是一个用于多目标自我改进进化搜索的框架。我们评估了在广泛认可的推理、数学和安全基准上发现的编织，并将它们与流行的基线进行比较。在“蓝色”模式下，我们观察到在安全基准性能上平均提升了79.4%，同时保持或提高了能力分数。在“红色”模式下，我们发现伴随能力优化出现了一些对抗性较弱的编织。我们的工作证明了多代理编织的风险，并提供了一个缓解这些风险的框架。代码可在https://github.com/J-Rosser-UK/AgentBreeder获取。
arXiv:2501.17391v2 Announce Type: replace-cross
摘要：视觉-语言模型（VLMs）在多模态任务中取得了显著的成功；然而，它们的实际部署经常受到高计算成本和较长推理时间的限制。由于视觉模态通常携带比文本模态更多的信息，压缩视觉提示提供了一种缓解这些挑战的有前景的解决方案。现有的方法大多侧重于改进模型架构或直接减少视觉令牌的数量。然而，这些方法往往因未能考虑视觉数据的独特空间和时间特征而牺牲了推理性能。在此次工作中，我们提出了一种在空间和时间维度上操作的令牌压缩范式。该方法包括一个无需学习、即插即用的压缩管道，可以无缝集成到大多数多模态大型语言模型（MLLM）框架中。通过使用这种方法，我们增强了模型的推理能力同时降低了其计算成本。在Video-QA任务上的实验结果表明了所提出方法的有效性，展示了在不牺牲性能的前提下显著提高了效率。
arXiv:2501.14846v5 公告类型: 交叉替换
摘要：鉴于当前大型语言模型在对话间共享记忆方面的不足，本研究提出了一种 wormhole 记忆模块（WMM），以实现像魔方一样可以任意在不同对话间检索的记忆功能。通过仿真实验，研究者基于 Python 环境建立了一个实验框架，并通过设置记忆障碍来模拟当前 LLMs 对话间记忆难以共享的现状。CoQA 开发数据集被导入实验中，验证了 WMM 非线性索引和动态检索的功能，并与 Titans 和 MemGPT 记忆模块的能力进行了比较分析。实验结果显示，WMM 在八次实验中展示了跨对话检索记忆的能力，并且在定量指标上的稳定性得到了验证。WMM 对 LLMs 记忆管理的优化提出了新的技术方法，并为未来的实际应用提供了经验。
arXiv:2501.12121v4 公告类型: replace-cross
摘要：持续学习作为一种关键的研究领域逐渐崭露头角，主要得益于其能够使模型持续获取和保留信息的优势特性。然而，灾难性遗忘可能会严重损害模型性能。在本研究中，我们通过引入一种新颖的框架——最优加权最大均差（OWMMD），解决了网络遗忘问题。OWMMD 通过多层次特征匹配机制（MLFMM）对表示的改变施加惩罚。此外，我们提出了自适应正则化优化（ARO）策略来优化自适应权重向量，在优化过程中自动评估每一层特征的重要性。我们提出的 ARO 方法能够减轻过度正则化的问题，并促进对未来任务的学习。我们进行了一系列全面的实验，将我们提出的方法与其他几种现有基准方法进行了比较。实证结果表明，我们的方法达到了最先进的性能。
arXiv:2501.07824v4 宣告类型: replace-cross
摘要：大型语言模型（LLMs）在广泛自然语言任务中表现出色。然而，它们有时会产生事实错误的回答，这是一个关键挑战。为了解决这一问题，尽管许多先前的工作集中在识别其生成过程中的错误并进一步改进它们，但它们在部署上较慢，因为这些工作设计为在生成过程完成后（从第一个到最后一个标记）仅验证LLM的响应。此外，我们观察到，一旦LLMs在早期生成错误的标记，后续标记也更有可能是事实错误的。为此，本文提出了一种名为 Streaming-VR（流式验证和改进）的新方法，旨在提高验证和改进LLM输出的效率。具体而言，提出的Streaming-VR能够在生成过程中实时验证和纠正标记，类似于流式过程，在LLM构建其响应时，另一个LLM可以实时检查和改进标记的每个子集。通过对多个数据集进行综合评估，我们证明了我们的方法不仅提高了LLM的事实准确性，还提供了比前一种改进方法更有效的解决方案。