本文探究了大型语言模型 (LLMs) 在面对推理任务时是否会主动回忆或检索其内部的知识库。通过分析知识神经元在每个推理步骤中 LLMs 内部事实回忆的情况，我们发现 LLMs 在某些情况下无法利用关键的事实关联。相反，它们倾向于选择替代的捷径式路径来回答推理问题。通过手动操控 LLMs 中参数化知识的回忆过程，我们证明了增强这种回忆过程直接提高了推理性能，而抑制它则会导致显着下降。此外，我们评估了思维链 (CoT) 提示的效果，这是一种解决复杂推理任务的强大技术。我们的发现表明，CoT 可以通过鼓励 LLMs 进行有序且可靠的推理来加强对事实知识的回忆。此外，我们探索了语境冲突如何影响推理过程中事实的检索，以全面了解 LLMs 的事实回忆行为。代码和数据将很快提供。
条件扩散模型在视觉内容生成方面取得了显著成功，在各个领域生成高质量样本，这在很大程度上归功于无分类器引导（CFG）。最近将引导扩展到无条件模型的尝试依赖于启发式技术，导致生成质量欠佳和意外效果。在这项工作中，我们提出了平滑能量引导（SEG），这是一种新颖的无训练和无条件方法，它利用自注意力机制的基于能量的视角来增强图像生成。通过定义自注意力的能量，我们引入了一种方法来降低注意力能量景观的曲率，并使用输出作为无条件预测。在实践中，我们通过调整高斯核参数来控制能量景观的曲率，同时保持引导尺度参数固定。此外，我们提出了一种查询模糊方法，它等效于模糊整个注意力权重，而不会在令牌数量上产生二次复杂度。在我们的实验中，SEG 在质量和副作用减少方面都取得了帕累托改进。代码可在 https://github.com/SusungHong/SEG-SDXL 获取。
在医疗保健中，人工智能决策的透明度至关重要，因为错误会带来严重后果，这对于在情感分析任务中建立人工智能与用户之间的信任至关重要。将推理能力纳入大型语言模型 (LLM) 有助于其理解更广泛语境中的人类情感，处理细微和含糊的语言，并推断可能未明确表达的潜在情感。在这项工作中，我们针对语音和文本两种模态引入了一项新任务——情感推理，并提出了我们提出的多模态多任务框架和数据集。我们的研究表明，基于推理的训练增强了模型在人类转录和自动语音识别 (ASR) 设置下的情感分类性能。此外，我们发现生成的推理通常表现出与人类生成的推理不同的词汇，但保持相似的语义。所有代码、数据（英语翻译和越南语）和模型已在线发布：https://github.com/leduckhai/MultiMed。
许多公开可用的语言模型已经过安全调整，以降低生成有毒或可能引发责任的文本的可能性。为了对这些模型进行红队攻击或越狱，以测试其对有毒请求的合规性，用户和安全分析师开发了对抗性提示技术。一种攻击方法是对提示应用离散优化技术。然而，生成的攻击字符串通常是乱码文本，由于高测量的困惑度，很容易被防御者过滤，并且可能对未见过的任务和/或经过良好调整的模型失败。在这项工作中，我们改进了现有的算法（主要是 GCG 和 BEAST），以开发针对 Llama-2 和 Phi-3 等安全调整模型的强大且流畅的攻击。我们的技术围绕着一种新的基于蒸馏的方法，该方法鼓励受害者模型在输出概率或内部激活方面模仿有毒微调。为了鼓励人类流畅的攻击，我们在目标中添加了多模型困惑度惩罚和重复惩罚。我们还通过允许标记插入、标记交换和标记删除以及使用更长的攻击序列来增强优化器强度。由此产生的过程能够可靠地使用类似于人类编写的提示来越狱最困难的目标模型。在 Advbench 上，我们对 Llama-2-7B、Llama-3-8B 和 Vicuna-7B 的攻击成功率 >93%，同时保持模型测量的困惑度 <33；我们对 Phi-3 的攻击成功率为 95%，尽管困惑度更高。我们还发现了一个普遍优化的单一流畅提示，在 Llama-2-7B、Phi-3-mini 和 Vicuna-7B 上对以前未见过的任务的诱导率 >88%，并且可以转移到其他黑盒模型。
当大型语言模型 (LLM) 的能力超越人类水平时，为这些模型提供全面而准确的监督变得越来越具有挑战性。弱到强学习，即利用能力较弱的模型来释放更强大模型的潜在能力，在这种情况下证明了其价值。然而，这种方法对于复杂推理任务的有效性尚未得到检验。此外，在弱到强设置下处理推理任务目前缺乏有效的方法来避免盲目模仿弱监督者，包括其错误。在本文中，我们介绍了一种渐进式学习框架，使强模型能够自主地细化其训练数据，而无需更高级模型或人工标注数据的输入。该框架首先在选择性的小型但高质量数据集上进行监督微调，然后对强模型本身识别出的对比样本进行偏好优化。在 GSM8K 和 MATH 数据集上的大量实验表明，我们的方法显着增强了 Llama2-70b 使用三种不同的弱模型的推理能力。该方法在一种前瞻性的实验设置中得到了进一步验证，其中 Llama3-8b-instruct 在极具挑战性的 OlympicArena 数据集上有效地监督了 Llama3-70b。这项工作为增强人工智能推理能力的更具可扩展性和复杂性的策略铺平了道路。所有相关的代码和资源都可以在 \url{https://github.com/GAIR-NLP/weak-to-strong-reasoning} 中找到。
控制复杂物理系统的演化是科学和工程领域的一项基本任务。传统的技术应用范围有限或计算成本巨大。另一方面，最近的基于深度学习和强化学习的方法往往难以在系统动力学的约束下优化长期控制序列。在这项工作中，我们介绍了扩散物理系统控制（DiffPhyCon），一种解决物理系统控制问题的新方法。DiffPhyCon 通过同时最小化整个轨迹和控制序列中学习到的生成能量函数和预定义的控制目标而脱颖而出。因此，它可以全局探索并规划接近最优的控制序列。此外，我们通过先验重加权增强了 DiffPhyCon，使之能够发现与训练分布显著偏离的控制序列。我们在三个任务上测试了我们的方法：一维 Burgers 方程、二维水母运动控制和二维高维烟雾控制，其中我们生成的水母数据集作为复杂物理系统控制研究的基准发布。我们的方法优于广泛应用的经典方法以及最先进的深度学习和强化学习方法。值得注意的是，DiffPhyCon 揭示了水母中观察到的一个有趣的快速闭合-缓慢打开模式，与流体力学领域的既定发现一致。该项目的网站、水母数据集和代码可在 https://github.com/AI4Science-WestlakeU/diffphycon 找到。
在无监督表征学习中，模型旨在从高维数据中提取基本特征，并将其提炼成低维的学习表征，这由归纳偏差引导。理解使表征良好的特征仍然是正在进行的研究课题。独立生成过程的解耦长期以来被认为可以产生高质量的表征。然而，仅仅关注满足大多数解耦度量严格要求的表征，可能会导致忽视许多适用于各种下游任务的高质量表征。这些度量通常要求生成因子被编码在与表征空间的规范基对齐的、独特的、单一维度中。
受这些观察结果的启发，我们提出了两种新的度量：重要性加权正交性（IWO）和重要性加权秩（IWR）。这些度量评估了生成因子子空间的互正交性和秩。在对多个基准数据集和模型进行的广泛下游任务实验中，IWO 和 IWR 与传统解耦度量相比，始终表现出与下游任务性能更强的相关性。我们的发现表明，表征质量与独立生成过程的正交性更相关，而不是它们的解耦，这为评估和改进无监督学习模型提供了新的方向。
高维动力系统预测是地球科学和工程等众多领域中的一个基本挑战。神经常微分方程 (NODE) 结合了神经网络和数值求解器的优势，成为预测复杂非线性动力系统的一种很有前景的算法。然而，用于 NODE 训练的经典技术对于学习混沌动力系统是无效的。在这项工作中，我们提出了一种新颖的 NODE 训练方法，它允许对混沌动力系统进行稳健的学习。我们的方法解决了与潜在的混沌动力学相关的非凸性和梯度爆炸的挑战。来自此类系统的训练数据轨迹被分成多个不重叠的时间窗口。除了与训练数据的偏差外，优化损失项还进一步惩罚了时间窗口之间预测轨迹的不连续性。窗口大小根据系统的最快 Lyapunov 时间尺度选择。多步惩罚 (MP) 方法首先在 Lorenz 方程上进行演示，以说明它如何改善损失景观并因此加速优化收敛。MP 方法可以以类似于最小二乘阴影的方式优化混沌系统，但计算成本显着降低。我们提出的算法，称为多步惩罚 NODE，被应用于混沌系统，例如 Kuramoto-Sivashinsky 方程、二维 Kolmogorov 流和 ERA5 大气再分析数据。观察到 MP-NODE 为此类混沌系统提供了可行的性能，不仅用于短期轨迹预测，而且用于作为这些动力学混沌性质标志的不变统计数据。
知识蒸馏（KD）被认为是压缩大型语言模型（LLM）的一种很有前景的解决方案，它通过将大型模型的知识转移到更小的模型中来实现。在这个过程中，白盒 KD 方法通常最小化两个模型的输出分布之间的距离，以便可以转移更多知识。然而，在当前的白盒 KD 框架中，输出分布来自两个模型各自的输出空间，使用它们自己的预测头。我们认为，空间差异会导致教师模型和学生模型在表示和分布层面上都存在低相似性。此外，这种差异还会阻碍不同词汇模型之间的 KD 过程，这在当前的 LLM 中很常见。为了解决这些问题，我们提出了一个双空间知识蒸馏（DSKD）框架，该框架统一了两个模型的输出空间以进行 KD。在 DSKD 的基础上，我们进一步开发了一种跨模型注意力机制，该机制可以自动对齐具有不同词汇的两个模型的表示。因此，我们的框架不仅与 KD 的各种距离函数（例如 KL 散度）兼容，就像当前框架一样，而且还支持任何两个 LLM 之间的 KD，无论它们的词汇如何。在与任务无关的指令遵循基准上的实验表明，DSKD 在各种距离函数上显著优于当前的白盒 KD 框架，并且也优于具有不同词汇的 LLM 的现有 KD 方法。
面向方面的情感三元组抽取（ASTE）旨在从给定语料库中共同提取情感三元组。现有的预训练-微调范式方法要么精心设计复杂的标记方案和分类头，要么整合外部语义增强来提高性能。在本研究中，我们首次重新评估了标记方案中的冗余性和预训练表示中的内部增强。我们提出了一种方法，通过整合极简的标记方案和新颖的令牌级对比学习策略来改进和利用预训练表示。与最先进的技术相比，所提出的方法展现出相当或更优越的性能，同时具有更紧凑的设计和更低的计算开销。此外，我们首次正式评估了 GPT-4 在此任务的少样本学习和思维链场景中的性能。结果表明，即使在大型语言模型时代，预训练-微调范式仍然非常有效。