参数高效微调（PEFT）已成为大型语言模型的关键训练策略。然而，其对较少可训练参数的依赖带来了安全风险，例如任务无关的后门。尽管这些后门对广泛任务的影响严重，但在PEFT背景下，尚无有效的防御解决方案来应对任务无关的后门。在本研究中，我们提出了Obliviate，一种可与PEFT集成的后门防御方法。我们开发了两种技术，旨在放大PEFT层中的良性神经元，并惩罚触发词的影响。我们在三种主要的PEFT架构上的评估表明，我们的方法能显著降低最先进的任务无关后门的攻击成功率（83.6%$\downarrow$）。此外，我们的方法对任务特定后门和适应性攻击表现出强大的防御能力。源代码将在https://github.com/obliviateARR/Obliviate获取。
arXiv:2409.14084v1 公告类型: 交叉 摘要: 世界模型是一种对真实世界环境的时空压缩表示，允许训练智能体或执行规划方法。然而，世界模型通常基于真实世界环境的观测数据进行训练，通常无法为其他真实环境学习策略。我们提出了一步世界模型（OSWM），这是一种基于上下文学习方式从纯合成数据中学习的变压器世界模型。我们的先验由多个随机初始化的神经网络组成，每个网络模拟目标环境的状态和奖励维度的动态。我们采用了先验拟合网络的监督学习过程，通过随机遮蔽上下文位置的下一状态和奖励，并查询OSWM基于剩余的过渡上下文进行概率预测。在推理阶段，OSWM能够快速适应简单网格世界、CartPole gym以及自定义控制环境的动态，通过提供1k过渡步骤作为上下文，并能够成功训练解决环境问题的智能体策略。然而，转移到更复杂的环境仍然是一个挑战，目前。尽管存在这些限制，我们认为这项工作是纯粹从合成数据中学习世界模型的重要一步。
大型语言模型（LLMs）在文本到SQL任务中已成为强大的工具，展现出卓越的推理能力。与数学应用题和常识推理等任务不同，SQL解决方案具有相对固定的模式。这有助于探讨LLMs是否能从分类思维中受益，类似于人类通过基于相似例子的归纳推理来获取知识的方式。在本研究中，我们提出，采用查询组分区的方法使LLMs能够专注于学习单一问题类型的思维过程，从而在不同难度级别和问题类别中提升其推理能力。我们的实验表明，配备PTD-SQL的多个高级LLMs在Spider和BIRD数据集上能够超越或匹配先前的最先进（SOTA）方法。有趣的是，不同初始性能的模型在经过针对性训练后，其能力边界均显示出显著提升，这与人类进步有相似之处。代码可在https://github.com/lrlbbzl/PTD-SQL获取。
生成式人工智能（GAI）在提升软件工程生产力方面具有巨大潜力，但其不可信的输出，尤其是在代码合成方面，带来了重大挑战。对GAI生成物进行广泛验证和验证（V&V）的需求可能会削弱潜在的生产力提升。本文提出了一种通过利用GAI生成多个代码和测试版本的能力，促进版本间比较分析，从而缓解这些风险的方法。与依赖单一测试或代码模块的质量不同，这种“差异性GAI”（D-GAI）方法通过版本多样性促进了更可靠的质量评估。我们介绍了大规模软件观测站（LASSO），这是一个支持D-GAI的平台，通过执行和分析大量代码版本和测试集。我们讨论了LASSO如何实现对GAI生成物的严格评估，并提出了其在软件开发和GAI研究中的应用。
arXiv:2409.14066v1 公告类型: 交叉 摘要: 构建通用机器人系统涉及有效地赋予机器人在开放世界环境中处理新对象的能力。受大规模预训练模型进展的启发，我们提出了从想象环境中的关键点功能学习（KALIE），该方法以可扩展的方式适应预训练的视觉语言模型（VLMs）用于机器人控制。KALIE不是直接生成运动指令，而是通过基于自然语言指令和场景视觉观察预测基于点的功能表示来控制机器人。VLM在带有由人类标注功能的2D图像上进行训练，无需机器人系统收集的训练数据。通过功能感知的数据合成管道，KALIE基于人类手动收集的有限示例数据自动创建大量高质量的训练数据。我们证明，KALIE仅凭50个示例数据点就能学会稳健地解决新的操作任务，且对象未曾见过。与使用预训练VLMs的基线方法相比，我们的方法始终表现出优越的性能。
近年来，大型语言模型（LLMs）在多样化的自然语言处理任务中展示了卓越的能力。大量研究探讨了如何增强逻辑推理能力，如思维链、自一致性思维链、思维树以及多智能体辩论。在多智能体辩论的背景下，随着智能体数量和辩论轮次的增加，可以显著提升性能。然而，智能体数量和辩论轮次的增加会急剧提高辩论的令牌成本，从而限制了多智能体辩论技术的可扩展性。为了更好地利用多智能体辩论在逻辑推理任务中的优势，本文提出了一种显著降低多智能体辩论中令牌成本的方法。该方法将所有智能体分为多个辩论小组，智能体在其各自的小组内进行辩论，并在小组间共享辩论的中间结果。在多个数据集上的对比实验表明，该方法在辩论过程中最多可减少51.7%的总令牌数，同时可能将准确性提高多达25%。我们的方法显著提升了多智能体辩论中的性能和效率。
肽在药物设计和发现中起着至关重要的作用，无论是作为治疗手段还是递送载体。非天然氨基酸（NNAAs）已被用于增强肽的多种性质，从结合亲和力、血浆稳定性到渗透性。引入新型NNAAs有助于设计出具有改进性质的更有效的肽。该领域的生成模型主要集中在探索肽序列空间上。序列空间由预定义的氨基酸组合形成。然而，仍然需要一种工具来探索超出这种枚举空间的肽景观，以解锁并有效整合新氨基酸的从头设计。为了彻底探索肽的理论化学空间，我们提出了PepINVENT，这是一种基于生成AI的新工具，作为小分子分子设计平台REINVENT的扩展。PepINVENT导航自然和非天然氨基酸的广阔空间，提出有效、新颖和多样化的肽设计。生成模型可以作为肽相关任务的核心工具，因为它没有针对特定性质或拓扑结构的肽进行训练。先验模型被训练来理解肽的粒度，并设计氨基酸来填充肽中的掩码位置。PepINVENT结合强化学习，利用其化学信息丰富的生成能力实现目标导向的肽设计。本研究展示了PepINVENT探索肽空间并提出独特和创新设计的能力，以及其在治疗相关肽背景下进行性质优化的能力。我们的工具可用于多参数学习目标、肽模拟物、先导优化以及肽领域内的各种其他任务。
arXiv:2409.14037v1 公告类型: 交叉 摘要: 大型语言模型(LLMs)及其驱动的AI助手在专业用户和业余用户中的使用量呈指数级增长。在这项工作中,我们专注于评估当前LLMs作为科学传播者的可靠性。与现有基准不同,我们的方法强调评估这些模型在需要对答案性有细致理解和意识科学问答任务上的表现。我们引入了一个新颖的数据集,SCiPS-QA,包含嵌入在复杂科学概念中的742个是/否查询,以及一个评估LLMs在各种标准下正确性和一致性的基准套件。我们基准测试了来自OpenAI GPT家族的三种专有LLMs和来自Meta Llama-2、Llama-3和Mistral家族的13种开放访问LLMs。虽然大多数开放访问模型与GPT-4 Turbo相比表现显著不佳,但我们的实验确定Llama-3-70B是一个强劲的竞争者,在各种评估方面经常超过GPT-4 Turbo。我们还发现,即使是GPT模型在可靠验证LLM响应方面也表现出普遍的无能。此外,我们观察到一个令人担忧的趋势,即人类评估者被GPT-4 Turbo的错误响应所欺骗。
随着语言模型在我们社会中的影响力和信任度日益增加，我们可靠地引导它们朝着有利行为的能力变得愈发重要。为此，我们研究了引导向量的技术：通过从特定任务中提取的“引导向量”来偏置语言模型的前向传递。我们将这种方法应用于引导语言模型进行思维链（Chain of Thought, CoT）推理，而无需通过自然语言进行提示。我们在Llama3 8b和Mistral 7b v0.2上展示了这种方法，并在一系列推理基准（GSM8k、MMLU、AGI Eval、ARC AI2）和定性示例中获得了与CoT提示性能相媲美的结果。我们发现这种方法能够一致地引导模型生成CoT响应，并且比传统的微调模型以实现CoT的方法消耗更少的计算资源。
arXiv:2409.14023v1 公告类型: 交叉 摘要: 变压器神经网络（TNNs）正在被应用于越来越广泛的应用领域，包括自然语言处理（NLP）、机器翻译和计算机视觉（CV）。它们的流行在很大程度上归功于其多头自注意力块在分析序列数据和提取特征时的卓越性能。迄今为止，针对这一机制的专用硬件加速器仍然有限，这是在为完整模型设计加速器之前的第一个步骤。本文提出了\textit{FAMOUS}，一种用于在现场可编程门阵列（FPGAs）上进行密集多头注意力（MHA）计算的灵活硬件加速器。它针对处理单元和片上内存的高利用率进行了优化，以提高并行性和减少延迟。通过采用大型矩阵的高效分块方法，将内存和计算资源分布在不同FPGA平台上的各个模块中。该设计在包含Ultrascale+ FPGAs的Xilinx Alveo U55C和U200数据中心卡上进行了评估。实验结果表明，在U55C上，它可以达到最大吞吐量、并行注意力头数、嵌入维度和分块大小分别为328（十亿次操作/秒（GOPS））、8、768和64。此外，它比Intel Xeon Gold 5220R CPU和NVIDIA V100 GPU分别快3.28倍和2.6倍。它也比最快的现有FPGA加速器快1.3倍。