大型语言模型（LLMs）在流行度上显著提升，并在多个应用中得到越来越广泛的采用。这些 LLMs 为了避免对负责任的人工智能造成伤害，会严格遵守抵制参与非法或不道德话题的原则。然而，最近出现了一种名为“越狱”的攻击方式，试图克服这种限制。直观地说，“越狱”攻击旨在缩小模型能够做什么和它愿意做什么之间的差距。本文介绍了一种名为 Crescendo 的新型“越狱”攻击。与现有的“越狱”方法不同，Crescendo 是一种简单的多轮“越狱”攻击，它以看似良性的方式与模型互动。它从关于当前任务的一般提示或问题开始，然后通过引用模型的回复逐渐升级对话，最终成功实现“越狱”。我们在各种公开系统上对 Crescendo 进行了评估，包括 ChatGPT、Gemini Pro、Gemini-Ultra、LlaMA-2 70b 和 LlaMA-3 70b Chat 以及 Anthropic Chat。我们的结果表明，Crescendo 具有很高的效率，在所有评估的模型和任务中都取得了很高的攻击成功率。此外，我们还展示了 Crescendomation，这是一种自动化 Crescendo 攻击的工具，并通过我们的评估证明了它对最先进模型的有效性。在 AdvBench 子集数据集中，Crescendomation 超越了其他最先进的“越狱”技术，在 GPT-4 上实现了 29-61% 的性能提升，在 Gemini-Pro 上实现了 49-71% 的性能提升。最后，我们还展示了 Crescendo 能够“越狱”多模态模型。
调试是程序员一项至关重要的但极具挑战的任务。本文提出了 ChatDBG，一款由人工智能驱动的调试助手。ChatDBG 集成了大型语言模型 (LLM)，显著增强了传统调试器的功能和用户友好性。ChatDBG 允许程序员与调试器进行协作式对话，使他们能够提出关于程序状态的复杂问题，对崩溃或断言失败进行根本原因分析，并探索开放式查询，例如“为什么 x 为空？”。为了处理这些查询，ChatDBG 赋予 LLM 自主权“掌控方向”：它可以充当独立代理，能够查询和控制调试器以遍历堆栈并检查程序状态。然后，它报告其发现并将控制权交还给程序员。我们的 ChatDBG 原型与标准调试器集成，包括用于本机代码的 LLDB 和 GDB 以及用于 Python 的 Pdb。我们在各种代码（包括带有已知错误的 C/C++ 代码和包含独立脚本和 Jupyter 笔记本的 Python 代码套件）上的评估表明，ChatDBG 可以成功地分析根本原因、解释错误并为各种现实世界错误生成准确的修复。对于 Python 程序，单个查询有 67% 的时间会导致可操作的错误修复；一个额外的后续查询将成功率提高到 85%。ChatDBG 已经得到了快速采用；它已经被下载了大约 50,000 次。
近年来，少样本类增量学习（FSCIL）方法的兴起凸显了在 FSCIL 学习器中维持强健抗遗忘能力的关键挑战。本文提出了一种基于数学泛化的新颖抗遗忘概念，并利用神经切线核（NTK）视角进行阐释。我们的方法侧重于两个关键方面：确保最佳 NTK 收敛和最小化 NTK 相关的泛化损失，这两者是跨任务泛化的理论基础。为了实现全局 NTK 收敛，我们引入了一种原理性的元学习机制，引导扩展网络架构内的优化。同时，为了减少 NTK 相关的泛化损失，我们系统地优化其组成因素。具体而言，我们首先在基础会话上进行自监督预训练，以增强 NTK 相关的泛化潜力。然后，通过课程对齐仔细调整这些自监督权重，接着应用专门针对卷积层和线性层的双 NTK 正则化。通过这些措施的综合作用，我们的网络获得了强健的 NTK 属性，确保了 NTK 矩阵的最佳收敛和稳定性，并最小化了 NTK 相关的泛化损失，显著提高了其理论泛化能力。在流行的 FSCIL 基准数据集上，我们的 NTK-FSCIL 优于现有的最先进方法，将最终会话的准确率提高了 2.9% 至 9.3%。
离线强化学习旨在利用离线数据集来构建有效的代理策略，而无需在线交互。为了解决分布外问题，离线强化学习通常会借助行为策略实施适当的保守约束。然而，当离线数据集从多个行为策略中收集时，现有方法往往会遇到约束冲突问题，即不同的行为策略在状态空间中可能表现出与不同回报值不一致的动作。为了解决这个问题，最近的优势加权方法优先考虑具有较高优势值的样本进行代理训练，而不可避免地忽略了行为策略的多样性。本文提出了一种新颖的优势感知策略优化 (A2PO) 方法，用于在混合质量数据集下显式地构建优势感知策略约束。具体而言，A2PO 利用条件变分自动编码器，通过将所有训练数据的优势值建模为条件变量，来解开交织行为策略的动作分布。然后，代理可以遵循这种解开的动作分布约束，将优势感知策略优化到更高的优势值。在 D4RL 基准的单质量和混合质量数据集上进行的大量实验表明，A2PO 的结果优于同类方法。我们的代码将公开发布。
图学习已成为解释和利用各种领域中关系数据的必不可少的方法，从推荐系统到社交网络分析。在这种情况下，各种 GNN 作为编码图结构信息的有效方法而出现。通过有效地捕获图的底层结构，这些 GNN 在提高图学习任务（如链接预测和节点分类）的性能方面显示出巨大潜力。然而，尽管取得了成功，但仍存在一项重大挑战：这些先进方法通常难以泛化到与训练实例显著不同的未见图数据。在这项工作中，我们的目标是通过开发一个通用的图基础模型来推进图学习范式。该模型旨在理解各种图数据中存在的复杂拓扑模式，使其能够在不同下游数据集的零样本图学习任务中脱颖而出。为了实现这一目标，我们在 OpenGraph 模型中解决了一些关键的技术挑战。首先，我们提出了一种统一的图标记器，使我们的图模型能够很好地泛化到未见图数据，即使底层图属性与训练期间遇到的属性存在显著差异。其次，我们开发了一个可扩展的图转换器作为基础编码器，它可以有效地捕获全局拓扑上下文中的节点间依赖关系。第三，我们引入了一种由 LLM 增强的數據增强机制，以缓解现实世界场景中数据稀缺的限制。大量实验验证了我们框架的有效性。通过使我们的 OpenGraph 适应新的图特征并理解各种图的细微差别，我们的方法在各种设置和领域中取得了显著的零样本图学习性能。
抑郁症是全球精神健康领域的一个重要问题，促使人们对基于人工智能的检测方法进行广泛的研究。在各种人工智能技术中，大型语言模型 (LLM) 在精神卫生保健应用中的多功能性尤为突出。然而，它们的主要局限性在于完全依赖于文本输入，这限制了它们的整体能力。此外，LLM 在识别和分析抑郁状态方面的应用仍然相对未开发。在本文中，我们提出了一种将声学语音信息整合到 LLM 框架中的创新方法，用于多模态抑郁症检测。我们研究了一种通过利用声学地标将语音信号整合到 LLM 中的有效抑郁症检测方法。通过结合声学地标（这些地标特定于口语单词的发音），我们的方法为文本转录增加了关键维度。这种集成还提供了对个人独特语音模式的见解，揭示了个人潜在的精神状态。对 DAIC-WOZ 数据集上提出的方法进行的评估表明，与现有的音频文本基线相比，该方法取得了最先进的结果。此外，这种方法不仅对抑郁症的检测具有价值，而且代表了增强 LLM 理解和处理语音信号能力的新视角。
近年来，去噪扩散概率模型（DDPMs）在各种生成任务中取得了领先的性能。然而，在语音合成领域，尽管 DDPMs 表现出色，但其漫长的训练时间和高昂的推理成本阻碍了实际部署。现有的方法主要集中于提高推理速度，而加速训练的方法（训练成本是添加或定制语音的关键因素）通常需要对模型进行复杂的修改，从而影响其通用性。为了解决上述挑战，我们提出了一个问题：是否可以通过修改语音信号本身来提高 DDPMs 的训练/推理速度和性能？在本文中，我们通过简单地将生成目标重定向到小波域，将语音 DDPMs 的训练和推理速度提高了一倍。该方法不仅在语音合成任务中实现了与原始模型相当或更优的性能，而且还展示了其多功能性。通过研究和利用不同的 小波基，我们的方法证明不仅在语音合成中有效，而且在语音增强中也有效。
本文提出了一种新颖的贝叶斯学习模型来解释大型语言模型 (LLM) 的行为，重点关注其核心优化指标——下一个词预测。我们基于一个理想的生成文本模型（由具有先验信息的 multinomial 转移概率矩阵表示）开发了一个理论框架，并研究了 LLM 如何逼近该矩阵。主要贡献包括：（i）一个将嵌入与 multinomial 分布联系起来的连续性定理，（ii）一个证明 LLM 文本生成与贝叶斯学习原则一致的论证，（iii）一个解释了更大模型中上下文学习出现的现象，（iv）使用来自一个仪器化 Llama 模型的下一个词概率的可视化进行的实证验证。我们的发现为 LLM 的功能提供了新的见解，为理解其能力和局限性提供了统计基础。该框架对 LLM 的设计、训练和应用具有影响，有可能指导该领域的未来发展。
检索增强生成 (RAG) 技术在语言模型领域取得了快速进展，特别是在问答 (QA) 系统方面。通过在生成响应阶段整合外部文档，RAG 显著提高了语言模型的准确性和可靠性。这种方法提升了响应质量，并减少了幻觉现象的发生频率，即模型生成不正确或误导性信息。然而，当面对大量难以区分的文档时，这些方法的检索准确率有限，在实际应用中带来了显著挑战。为了应对这些新出现的挑战，我们提出了 HiQA，一个先进的多文档问答 (MDQA) 框架，它将级联元数据整合到内容中，并采用多路径检索机制。我们还发布了一个名为 MasQA 的基准，用于评估和研究 MDQA。最后，HiQA 在多文档环境中展示了最先进的性能。
实时交通预测对于减少出行时间至关重要。为了预测交通状况，我们采用时空图神经网络（ST-GNN）将实时交通数据建模为时序图。尽管ST-GNN具有强大的功能，但在处理现实世界交通数据时，它往往难以实现高效的实时预测。鉴于实时数据的动态性，及时预测至关重要，因此我们采用知识蒸馏（KD）作为解决方案，以提高ST-GNN在交通预测中的执行时间。在本文中，我们引入了一种成本函数，旨在使用来自复杂网络（教师）的蒸馏数据来训练一个参数更少的网络（学生），同时保持其精度接近教师的精度。我们使用知识蒸馏，将教师网络中的时空相关性纳入其中，使学生能够学习教师感知的复杂模式。然而，一个挑战在于如何确定学生网络结构，而不是将其随意考虑。为了解决这一挑战，我们提出了一种算法，利用成本函数来计算剪枝分数，解决小型网络结构搜索问题，并使用KD联合微调每个剪枝阶段产生的网络。最终，我们在两个现实世界数据集PeMSD7和PeMSD8上评估了我们提出的想法。结果表明，即使仅保留3%的网络参数，我们的方法也能使学生的精度保持接近教师的精度。