arXiv:2505.02118v2 公告类型: 新增
摘要: 此研究探讨了一种基于合作博弈的自我理性化框架，其中生成器首先从原始输入中提取最具信息量的片段，随后的预测器使用选定的子集作为输入。生成器和预测器共同训练以最大化预测准确性。在这篇论文中，我们首先揭示了一个潜在的问题：这种合作博弈可能会无意中在理性提取期间引入采样偏差。具体来说，生成器可能会无意识地在选定的理性候选者和标签之间创建不正确的相关性，即使在原始数据集中它们在语义上是无关的。随后，我们使用详细的理论分析和实证证据阐述了这种偏差的来源。我们的研究结果表明，可以通过攻击的方式进行检查这些相关性，基于此，我们进一步引入了一项指令以防止预测器学习这些相关性。通过在六个文本分类数据集和两个图分类数据集上使用三种网络架构（GRUs、BERT 和 GCN）进行的实验中，我们展示了该方法不仅显著优于近期的合理化方法，而且在某些情况下甚至达到了代表性的LLM（llama3.1-8b-instruct）可比或更优的结果。
arXiv:2505.01315v2 声明类型: replace-cross
摘要：最近大语言模型的使用增长使其容易受到复杂的对抗性攻击、操控性提示和编码恶意输入的影响。现有的应对措施通常需要重新训练模型，这在计算上成本高昂且在部署上不现实。无需重新训练或微调，本研究提出了一种独特的防御范式，使大语言模型能够自行识别、过滤和防御对抗性或恶意输入。该建议框架有两个主要部分：(1) 一个提示过滤模块，使用先进的自然语言处理 (NLP) 技术，包括零样本分类、关键词分析和编码内容检测（例如 base64、十六进制、URL 编码），以检测、解码和分类有害输入；(2) 一个摘要模块，处理并总结对抗性研究文献，为大语言模型提供上下文相关的防御知识。该方法通过融合文本提取、摘要和有害提示分析，增强了大语言模型对对抗性利用的抵抗力。实验结果显示，该集成方法在识别有害模式、操控性语言结构和编码提示方面的成功率为 98.71%。通过利用少量对抗性研究文献作为上下文，该方法还使模型能够以更高的脱逃抵抗率和拒绝率正确响应有害输入。在保持大语言模型回复质量的前提下，该框架大大增强了大语言模型对恶意滥用的抵抗力，充分展示了其作为耗时、重训练基线防御快速简便替代方案的有效性。
arXiv:2505.01182v2 生成类型: replace-cross
摘要: 文本到动作生成最近吸引了显著的研究兴趣，主要集中在生成空白背景中的人体动作序列。然而，人体动作通常发生在多样的3D场景中，这促使人们探索场景感知的文本到动作生成方法。现有的场景感知方法通常依赖于多样的3D场景中的大规模真实动作序列，这由于成本高昂而带来了实际挑战。为了缓解这一挑战，我们首次提出了一个无训练的场景感知文本到动作框架，命名为TSTMotion，它有效地赋予了预训练的空白背景动作生成器场景感知能力。具体而言，基于给定的3D场景和文本描述，我们采用基础模型共同推理、预测和验证场景感知的动作指导。然后，将动作指导通过两种修改融入空白背景动作生成器中，从而生成场景感知的文本驱动动作序列。大量的实验展示了我们所提出的框架的有效性和通用性。我们在项目页面发布了我们的代码：[GitHub链接](https://tstmotion.github.io/)。
arXiv:2505.00654v2 Announce Type: replace-cross
摘要：自大型语言模型（LLMs）的非凡涌现以来，关于它们理解世界及捕捉参与对话的意义的争论一直在进行中。基于思想实验、LLMs与人类之间的轶事对话、统计语言学分析、哲学考虑等提出的论点和反论观点层出不穷。在本文中，我们基于思想实验和半形式化考虑，提出了一种内在的歧义屏障，这种屏障使得LLMs无法理解其极其流畅的对话意味着什么。
arXiv:2505.00626v2 宣告类型: replace-cross
摘要: 集成了多种输入角色（例如，系统指令、用户查询、外部工具输出）的大规模语言模型（LLMs）在实践中越来越普遍。确保模型能够准确区分来自各个角色的信息——我们称之为“角色分离”——对于一致的多角色行为至关重要。尽管最近的工作往往针对最先进的提示注入防御，但尚不清楚这些方法是否真的教会LLMs区分角色，还是只是记住了已知的触发因素。在本文中，我们研究了“角色分离学习”：教授LLMs robustly区分子系统和用户标记的过程。通过一个“简单且受控的实验框架”，我们发现微调模型通常依赖于两种角色识别的替代方案：(1) 任务类型的利用，和 (2) 距离文本开头的近似度。尽管数据增强可以在一定程度上缓解这些捷径，但它通常导致不断修补而不是根本解决问题。为了解决这一问题，我们提出通过调整模型输入编码中各个标记的提示来强化“不变信号”，从而标注角色边界。特别是，操纵位置ID有助于模型学习更清晰的区分，并减少对表面替代方案的依赖。通过关注这种方法中心的观点，我们的工作揭示了如何让LLMs在不单纯记忆已知提示或触发因素的情况下，更可靠地保持一致的多角色行为。
arXiv:2505.00503v2 宣告类型: replace-cross
摘要：离线强化学习的性能显著受到状态分布偏移问题的影响，而离分布外（OOD）状态校正是解决这一问题的一种流行方法。在本文中，我们提出了一种名为密度感知安全感知（DASP）的新方法，以解决OOD状态校正问题。具体而言，我们的方法鼓励代理优先执行导致更高数据密度结果的动作，从而促进其操作在或返回到分布内（安全）区域。为了实现这一点，我们在同时考虑决策潜在结果及其密度的变分框架内优化目标，从而为安全决策提供关键的上下文信息。最后，我们通过在离线下MuJoCo和AntMaze套件上进行广泛的实验评估，验证了我们提出方法的有效性和可行性。
arXiv:2505.00316v2 宣传类型: 替换交叉
摘要: 分子-褒点模型是一个强大的且广泛使用的框架，用于开发用于模拟复杂多细胞生物系统计算模型。分子-褒点模型(CPMs)由于需要显式建模大量个体模型代理之间的相互作用以及由偏微分方程(PDEs)描述的扩散场，通常计算成本较高。在本文中，我们开发了一个使用U-Net架构的卷积神经网络(CNN)代理模型，该模型考虑了周期性边界条件。我们使用该模型来加速一个先前用于研究体外新生血管形成的机制CPM的评估。该代理模型被训练以预测100个计算步骤(蒙特卡洛步数，MCS)的结果，相比CPM代码执行，模拟评估速度提高了590倍。在多次递归评估中，我们的模型有效地捕捉了原始分子-褒点模型展示的新兴行为，例如血管芽生、延伸和吻合、血管空隙的收缩。这种 approaches 证明了深度学习有可能成为CPM模拟的有效代理模型，从而可以在更广泛的空间和时间尺度上更快速地评估计算成本高昂的CPM生物过程。
arXiv:2505.00091v2 协调类型: 替换-交叉
摘要：随着对异构无人机（UAV）群在城市环境中执行复杂任务的需求不断增加，系统设计现在面临着重大挑战，包括高效的语义理解、灵活的任务规划以及根据不断变化的环境条件和任务要求动态调整协调策略的能力。为了解决现有方法的局限性，本文提出了一种协调领域代理系统，用于在复杂城市场景中协调异构无人机群。在此系统中，大型语言模型（LLMs）负责解释高层次的人类指令并将其转换为无人机群可执行的命令，如巡逻和目标跟踪。随后提出了一种协调领域机制，用于指导无人机运动和任务选择，从而实现分布式和自适应的动态任务分配。开展了50轮跨不同模型的比较测试，以评估其性能。实验结果表明，所提系统在任务覆盖范围、响应时间和对动态变化的适应性等方面表现出优异的性能。
arXiv:2505.00034v2 更新类型: 交叉更新
摘要: 大型语言模型(LLMs)在许多自然语言处理(NLP)任务中表现出色，并被应用于钓鱼邮件检测研究。然而，在当前的研究中，高性能的LLMs通常包含数十亿甚至几十亿的参数，需要巨大的计算资源。为了降低成本，我们研究了小参数量的LLMs在钓鱼邮件检测中的有效性。这些LLMs约有30亿个参数，并且可以在消费级GPU上运行。然而，小LLMs在钓鱼邮件检测任务中常常表现不佳。为了解决这些问题，我们设计了一套包括提示工程、解释增强微调和模型集成的方法，以提高小LLMs在钓鱼邮件检测方面的性能。我们通过实验验证了我们方法的有效性，在SpamAssassin和CEAS_08数据集上显著提高了准确率和F1分数。此外，微调后的模型展示了较强的知识迁移能力，能够在多个未见过的钓鱼数据集上实现稳健的性能，超过了传统的基线并接近标准规模的LLMs。
arXiv:2504.21772v2 公告类型: replace-cross
摘要: 短视频平台如YouTube Shorts和TikTok面临着显著的版权合规挑战，因为侵权者经常嵌入任意背景音乐（BGM）来模糊原声轨（OST），并逃避内容原创性检测。为解决这一问题，我们提出了一种新颖的工作流，该工作流结合了音乐源分离（MSS）和跨模态视频-音乐检索（CMVMR）。我们的方法有效地将任意BGM与原始OST分开，使恢复真实的视频音频轨道成为可能。为了支持这项工作，我们引入了两个专用领域数据集：包含20,000个混有BGM和OST音频片段的OASD-20K，以及包含1,121个视频和混合音频片段的OSVAR-160，特别设计用于短视频恢复任务的基准数据集。实验结果表明，我们的工作流不仅以高准确度移除了任意BGM，还恢复了OST，保证了内容完整性。该方法为用户生成内容的短视频平台上的版权挑战提供了道德和可扩展的解决方案。