指令微调使语言模型能够更有效地泛化并更好地遵循用户意图。然而，获取指令数据代价高昂且具有挑战性。先前的工作采用了一些方法，例如昂贵的人工标注、存在对齐问题的众包数据集以及通过大型语言模型生成噪声样本。我们介绍了 LongForm-C 数据集，该数据集通过反向指令创建。我们使用反向指令通过大型语言模型为人工编写的语料库示例生成指令。首先，我们从 C4 和维基百科等语料库中选择一组多样化的人工编写的文档；然后，我们通过大型语言模型为这些文档生成指令。这种方法提供了一个更便宜、更干净的指令微调数据集，具有自然输出，适合长文本生成。我们的模型在故事/菜谱生成和长篇问答等任务上，优于没有进行指令微调的 10 倍大的语言模型。此外，LongForm 模型在很大程度上优于先前进行指令微调的模型，例如 FLAN-T5 和 Alpaca，并进一步提高了语言理解能力。我们公开发布了我们的数据和模型：https://github.com/akoksal/LongForm。
大多数现有的公平分类器依赖于敏感属性来实现公平。然而，在许多情况下，由于隐私和法律问题，我们无法获得敏感属性。缺乏敏感属性对许多现有的公平分类器提出了挑战。虽然我们缺乏敏感属性，但对于许多应用来说，通常存在与敏感属性相关的各种格式的特征或信息。例如，一个人的购买历史可以反映他的种族，这将有助于学习关于种族的公平分类器。然而，关于探索与敏感属性相关的特征以学习没有敏感属性的公平模型的工作非常有限。因此，在本文中，我们研究了一个新问题，即通过探索相关特征来学习没有敏感属性的公平模型。我们提出了一种概率生成框架，以有效地从具有各种格式的相关特征的训练数据中估计敏感属性，并利用估计的敏感属性信息来学习公平模型。在真实世界数据集上的实验结果表明了我们的框架在准确性和公平性方面的有效性。
从人脑的角度来看，持续学习可以执行各种任务而不会相互干扰。在神经元的稀疏性和选择性中可以找到减少相互干扰的有效方法。根据 Aljundi 等人和 Hadsell 等人，在表征层面上施加稀疏性有利于持续学习，因为稀疏的神经元激活鼓励参数之间的重叠更少，从而导致更少的干扰。类似地，高度选择性的神经网络可能会导致更少的干扰，因为神经元中的特定响应会减少与其他参数重叠的机会。考虑到人脑在整个生命周期内进行持续学习，找到稀疏性和选择性自然出现的条件可能为理解大脑功能提供见解。本文研究了自然增加神经网络稀疏性和选择性的各种条件。本文在 MNIST 分类任务中使用 Hoyer 稀疏性度量和 CCMAS 选择性度量测试了不同的优化器。值得注意的是，关于各种条件下稀疏性和选择性自然发生的调查，直到今天还没有在神经科学或机器学习的任何领域得到认可。本文发现，某些条件会增加稀疏性和选择性，例如应用较大的学习率和降低批量大小。除了条件、稀疏性和选择性之间的关系外，还将根据经验分析讨论以下内容：1. 稀疏性和选择性之间的关系；2. 测试精度、稀疏性和选择性之间的关系。
尽管深度强化学习 (RL) 策略在任务奖励方面是最优的，但它们可能与人类用户的个人偏好不一致。为了确保这种一致性，一个简单的解决方案是使用编码用户特定偏好的奖励函数重新训练代理。然而，这种奖励函数通常不容易获得，因此从头开始重新训练代理可能非常昂贵。我们提出了一种更实用的方法——借助人类反馈，将已训练的策略调整到用户的特定需求。为此，我们通过轨迹级反馈推断用户的意图，并通过理论上有根据的动态策略融合方法将其与训练好的任务策略结合起来。由于我们的方法收集了用于学习任务策略的相同轨迹上的用户反馈，因此它不需要与环境进行任何额外的交互，使其成为一种零样本方法。我们在多个环境中通过实验证明，我们提出的动态策略融合方法始终能够实现预期任务，同时满足用户特定需求。
大型语言模型 (LLM) 的开发和评估主要集中在单个能力上。然而，这忽略了现实世界任务中通常需要的不同类型专业知识的多种能力的交集，我们称之为跨能力。为了系统地探索这一概念，我们首先定义了七项核心个体能力，然后将它们配对形成七种常见的跨能力，每种能力都由一个手动构建的分类法支持。在此基础上，我们介绍了 CrossEval，这是一个包含 1,400 个人工标注提示的基准，每个个体和跨能力有 100 个提示。为了确保评估的可靠性，我们邀请专家注释者评估 4,200 个模型响应，收集 8,400 个带有详细解释的人工评分，作为参考示例。我们的研究结果表明，在静态评估和增强特定能力的尝试中，当前的 LLM 始终表现出“最弱环节定律”，即跨能力性能受到最弱组件的显著限制。具体而言，在 17 个模型的 58 个跨能力得分中，有 38 个得分低于所有个体能力，而 20 个得分介于强和弱之间，但更接近较弱的能力。这些结果突出了 LLM 在跨能力任务中的表现不佳，因此，识别和改进最弱能力是未来研究的重中之重，以便在复杂的多维场景中优化性能。
大型语言模型 (LLM) 在代码生成等复杂分析任务中，通常的做法是在模型的上下文窗口内对整个任务的解决方案进行采样。先前的工作表明，在模型的上下文中进行子任务分解（思维链）有利于解决此类任务。在这项工作中，我们指出了 LLM 在同一上下文窗口内执行多个子任务的能力的局限性——上下文组合的难度，这表明将分解后的问题分布在 LLM 多智能体系统中具有优势。组合的难度由生成复杂度指标量化，即采样至少一个正确解决方案所需的 LLM 生成次数。我们发现，在同一上下文中解决组合问题的生成复杂度与将其分布在多个智能体之间的生成复杂度之间存在差距，这种差距随着解决方案长度的增加呈指数增长。我们从理论上证明了我们的结果，并通过实验证明了它们。
随着基于大型Transformer的语言模型的规模和成本不断增长，最近人们对将早期Transformer隐藏表示快捷地转换为最终表示以降低模型推理成本产生了兴趣。特别是，用早期层的线性变换来对预训练的Transformer进行快捷处理已被证明可以提高早期推理的精度。然而，对于大型语言模型来说，即使这种方法也会变得计算量很大。在本研究中，我们提出了“跳到结论的窄捷径”（NJTC）和“归一化跳到结论的窄捷径”（N-NJTC）——这两种方法是标准线性快捷处理的节省参数的替代方法，将快捷处理参数数量减少了97%以上。我们表明，N-NJTC 在早期阶段可靠地优于身份快捷处理，并且在 GPT-2-XL、Phi3-Mini 和 Llama2-7B Transformer 模型的所有 Transformer 块级别上都提供了稳定的精度，证明了参数效率更高的快捷处理方法的可行性。
近年来，文本到 SQL 的研究主要集中在 SQLite 方言上，而忽略了 BigQuery 和 PostgreSQL 等其他 SQL 方言的多样性。这种局限性源于 SQL 语法和函数的多样性，以及收集和整理特定于 SQL 的训练数据的成本高昂。为了解决这个问题，我们引入了 SQL-GEN，这是一个用于生成任何 SQL 方言的高质量合成训练数据的框架，该框架以易于获取的特定于方言的教程为指导。SQL-GEN 显着提高了跨方言文本到 SQL 的性能，与现有方法相比，执行精度提高了高达 20%。这种性能提升缩小了与在大型人工标注数据上训练的模型之间的差距。此外，将 SQL-GEN 生成的合成数据与人工标注数据相结合，可以进一步提高性能，最高可达 5.6%。为了在一个模型中统一多方言能力，我们提出了一种新颖的专家混合 (MoE) 初始化方法，该方法利用了跨方言的共享知识。我们的方法将来自特定方言模型的自注意力层合并，并使用特定方言的关键字初始化专家门。这将导致一个专门针对多种 SQL 方言优化的通用模型，其性能优于单方言模型，并显着提高了整体性能。
现实世界中的形式化定理证明通常依赖于大量上下文信息，包括定义、引理、注释、文件结构和其他信息。我们引入了 miniCTX，它测试模型证明形式化数学定理的能力，这些定理依赖于训练期间未曾见过的新的上下文信息。miniCTX 包含来自真实 Lean 项目和教科书的定理，每个定理都与一个可能包含数万个标记的上下文相关联。模型的任务是在访问定理库中的代码（其中包含证明所需的上下文）的情况下证明一个定理。作为 miniCTX 的基线，我们测试了微调和提示方法，这些方法将定理证明与之前的上下文联系起来。这两种方法都显著优于仅依赖于状态信息的传统方法。我们发现，这种利用上下文的能力在之前诸如 miniF2F 之类的基准测试中并未体现出来。除了 miniCTX，我们还提供了 ntp-toolkit 用于自动提取和注释定理证明数据，使将新项目添加到 miniCTX 中变得容易，以确保上下文在训练期间未曾见过。miniCTX 为神经定理证明器提供了一个具有挑战性和现实性的评估。
人们普遍预期，人类总有一天会创造出比我们聪明得多的 AI 系统，从而导致“如何控制超级智能”的未解对齐问题。然而，这个问题不仅自相矛盾，而且可能无法解决。不幸的是，目前用于解决该问题的基于控制的策略不可避免地包含了对不信任的危险表征。如果超级智能无法信任人类，那么我们也无法完全信任它能够可靠地遵循它可能绕过的安全控制。不仅旨在实现永久控制的策略无法保证我们的安全，甚至可能引发许多人所恐惧的灭绝事件。因此，本文提出了一种逻辑上的论证，主张从控制导致的不信任战略性转向以本能为基础的家庭互信模型的 AI 对齐基础建模。由于当前的 AI 已经代表了对人类意图的不信任，因此提出了“超级信任”元策略来防止长期的基础错位，并确保超级智能由内在的基于信任的模式驱动，从而实现安全和保护性的共存。