人工智能中的对齐旨在使模型的响应与人类的偏好和价值观保持一致。在实践中，人类偏好的多方面性质无意中引入了所谓的“对齐税”——一种妥协，即在一个目标（例如，无害性）中对齐的增强可能会降低其他目标（例如，帮助性）的性能。然而，现有的对齐技术大多是单向的，导致在各种目标上的权衡不佳和灵活性差。为了应对这一挑战，我们认为用明显的偏好来为大型语言模型提供基础至关重要。我们引入了可控偏好优化（CPO），它明确地指定了不同目标的偏好评分，从而引导模型生成满足要求的响应。我们的实验分析表明，对齐后的模型可以提供与“3H”（帮助性、诚实性、无害性）期望中的各种偏好相匹配的响应。此外，通过引入多样化的数据和对齐目标，我们在与单一目标对齐方面超越了基线方法，从而减轻了对齐税的影响，并在多目标对齐方面实现了帕累托改进。
近年来，大型语言模型（LLMs）的研究呈爆炸式增长，公众对该主题的参与度也随之提高。LLMs 起源于自然语言处理领域的一个小众领域，但已在包括游戏在内的广泛应用和领域展现出非凡的潜力。本文综述了 LLMs 在游戏领域中各种应用的最新技术，并确定了 LLMs 在游戏中的不同角色。重要的是，我们讨论了 LLMs 在游戏中的未来应用中尚未探索的领域和有希望的方向，并协调了 LLMs 在游戏领域中的潜力和局限性。作为首个全面综述和路线图，涵盖了 LLMs 与游戏的交叉领域，我们希望本文能为这一激动人心的新领域开创性的研究和创新奠定基础。
在嘈杂的中等规模量子（NISQ）时代，一个重大障碍是识别功能性量子电路。这些电路还必须遵守当前量子硬件限制所施加的约束。变分量子算法（VQA）是一类量子经典优化算法，旨在解决目前可用量子设备中的这些挑战。然而，VQA 的整体性能取决于变分电路的初始化策略、电路结构（也称为 ansatz）以及成本函数的配置。着眼于电路结构，在本论文中，我们通过使用强化学习（RL）自动搜索变分电路的最佳结构来提高 VQA 的性能。在论文中，电路的最佳性是通过评估其深度、门的总数和参数以及解决给定问题的准确性来确定的。自动搜索最佳量子电路的任务被称为量子架构搜索 (QAS)。QAS 中的大多数研究主要集中在无噪声场景。然而，噪声对 QAS 的影响仍然没有得到充分的探索。在本论文中，我们通过引入基于张量的量子电路编码、对环境动力学的限制以有效地探索可能的电路的搜索空间、一个用于引导代理找到更短电路的集结方案、具有 ε-贪婪策略的双深度 Q 网络 (DDQN) 来解决这个问题，以获得更好的稳定性。在无噪声和有噪声的量子硬件上的数值实验表明，在处理各种 VQA 时，我们基于 RL 的 QAS 优于现有的 QAS。同时，我们在论文中提出的方法可以很容易地适应解决各种其他 VQA。
成功的谈判需要多种能力，包括理解对话语境、运用心智理论推断对方动机、进行策略推理以及有效沟通，这使得自动化系统难以实现。尽管大型语言模型 (LLM) 在各种自然语言处理任务中表现出色，但目前尚无对其在谈判中的能力进行系统评估。这种评估对于推进人工智能谈判代理和谈判研究至关重要，涵盖从设计对话系统到提供教学反馈和扩展数据收集实践等各个方面。本研究旨在系统地分析大型语言模型在典型谈判互动各个阶段的多种对话场景中的多方面能力。我们的分析突出了 GPT-4 在许多任务中的优异表现，同时指出了其面临的具体挑战，例如进行主观评估以及生成上下文相关且具有战略优势的回应。
尽管在大语言模型在许多自然语言处理（NLP）任务中取得了成功，但它们在知识密集型任务中仍然难以有效地利用知识，表现出诸如生成不完整、非事实或不合逻辑的答案等局限性。这些局限性源于大语言模型在普通微调期间缺乏对知识的意识。为了解决这些问题，我们提出了一种知识感知微调（KnowTuning）方法，以提高大语言模型对细粒度和粗粒度知识的意识。我们设计了一个细粒度知识增强阶段，以训练大语言模型识别答案中难以获取的细粒度知识。我们还提出一个粗粒度知识比较阶段，以训练大语言模型从三个方面区分可靠和不可靠的知识：完整性、真实性和逻辑性。在通用和医疗问答（QA）数据集上进行的大量实验通过自动和人工评估验证了 KnowTuning 的有效性，涵盖了各种规模的大语言模型。我们进一步验证了 KnowTuning 在细粒度事实评估下能够生成更多的事实，并且事实错误率更低。
针对指令微调的大型语言模型 (LLMs) 的研究，使用基于文本重叠和 LLM 判断的自动方法作为对人工评估的经济高效替代方案。本文对这些方法进行了元评估，并评估了它们在广泛任务中的可靠性。在评估自动方法与人工评估的一致性方面，相关性指标是最常用的方法，尽管它们在处理平局和不同尺度时存在固有的局限性。为了解决这些缺点，我们使用成对准确率作为标准相关性度量的替代方法。我们观察到，虽然自动评估方法可以在特定条件下近似人工评分，但它们的有效性高度依赖于上下文。具体来说，简单的 ROUGE-L 指标与人类评分在简答英文任务中高度相关，但在自由生成任务和跨语言场景中不可靠。如果提示中不包含参考答案，使用 GPT-4 作为评判者的更高级方法的有效性会显著降低，而这正是该方法与其他指标相比可能提供最大价值的场景。我们的发现增强了对在开发和评估指令微调 LLM 时如何应用和解释自动方法的理解。
大型语言模型（LLM）容易受到越狱攻击，这种攻击旨在通过细微地修改攻击查询来提取有害信息。随着防御机制的演变，直接获取有害信息对越狱攻击来说越来越具有挑战性。在这项工作中，我们从乔姆斯基的转换生成语法理论和人类利用间接语境来引出有害信息的做法中得到启发，专注于一种新的攻击形式，称为语境交互攻击。我们认为，先前的语境——攻击查询之前的信息——在实现强大的越狱攻击中起着至关重要的作用。具体来说，我们提出了一种首创的多轮方法，利用良性的初步问题与 LLM 交互。由于 LLM 的自回归性质，它们在生成过程中使用之前的对话轮次作为语境，我们引导模型的问答对构建一个语义上与攻击查询一致的语境来执行攻击。我们在七种不同的 LLM 上进行了实验，并证明了这种攻击的有效性，这种攻击是黑盒的，也可以在 LLM 之间转移。我们相信这将有助于进一步发展和理解 LLM 的安全问题。
超图对于建模现实世界数据中高阶交互至关重要。超图神经网络 (HNN) 通过消息传递有效地利用这些结构，为各种下游任务（如节点分类）生成信息丰富的节点特征。然而，现有 HNN 中的消息传递模块通常需要计算密集型的训练过程，这限制了它们的实际应用。为了应对这一挑战，我们提出了一种替代方法，将超图结构信息的利用与模型学习阶段解耦。这导致了一种新颖的无训练消息传递模块，称为 TF-MP-Module，它可以在数据预处理阶段预先计算，从而减少计算负担。我们将配备 TF-MP-Module 的超图神经网络称为 TF-HNN。我们从理论上支持了 TF-HNN 的效率和有效性，证明了：1）与现有 HNN 相比，它更具训练效率；2）它利用与现有 HNN 相同的信息来生成节点特征；3）它在使用长程交互时对过度平滑问题具有鲁棒性。基于七个真实世界超图基准的节点分类和超链接预测实验表明，与最先进的 HNN 相比，TF-HNN 表现出竞争性能和优越的训练效率。具体来说，在大型基准 Trivago 上，TF-HNN 在节点分类准确率方面优于最佳基线 10%，而训练时间仅为该基线的 1%。
近年来，使用神经网络执行图算法引起了极大的兴趣，因为其展现出令人鼓舞的实证进展。这促使我们进一步了解神经网络如何复制关系数据的推理步骤。在本研究中，我们从理论角度研究了 Transformer 网络模拟图上算法的能力。我们使用的架构是一个带有额外注意力头的循环 Transformer，这些注意力头与图交互。我们通过构造证明了该架构可以模拟单个算法，如 Dijkstra 最短路径算法、广度优先搜索、深度优先搜索和 Kosaraju 强连通分量算法，以及同时模拟多个算法。网络中的参数数量不会随着输入图大小的增加而增加，这意味着网络可以模拟任何图上的上述算法。尽管具有此特性，但我们证明了由于有限精度，我们的解决方案存在模拟的局限性。最后，我们证明了当使用额外注意力头时，在恒定宽度的情况下，图灵完备性结果。
具有卓越响应质量的 LLM，尤其是更大或闭源模型，往往伴随着更高的推理成本，使其部署效率低下且成本高昂。与此同时，从头开始开发基础 LLM 正在变得越来越资源密集且不切实际，难以应用于许多场景。为了解决质量和成本平衡的挑战，我们引入了 Routoo，这是一种旨在根据性能、成本和效率优化特定提示的 LLM 选择的架构。Routoo 提供对推理成本和质量之间权衡的可控性，能够在给定的质量要求下显著降低推理成本。Routoo 包含两个关键组件：性能预测器和成本感知选择器。性能预测器是一个轻量级的 LLM，能够在不执行的情况下估计给定提示下各种底层 LLM 的预期性能。然后，成本感知选择器模块根据这些预测和成本和延迟等约束选择最合适的模型，显著降低相同质量的推理成本。我们使用 MMLU 基准在 57 个领域中对 Routoo 进行了评估，并使用了开源模型。我们的结果表明，Routoo 的性能与 Mixtral 8x7b 模型相匹配，同时将推理成本降低了三分之一。此外，通过允许增加成本，Routoo 在相同成本下超越了 Mixtral 的准确率 5% 以上，达到 75.9% 的准确率。当将 GPT4 集成到我们的模型池中时，Routoo 在成本减半的情况下几乎达到了 GPT4 的性能，并在成本降低 25% 的情况下超越了 GPT4。这些结果突出了 Routoo 在不影响质量的情况下显著降低推理成本的潜力，甚至通过利用多个 LLM 的集体能力来建立新的最先进结果。