arXiv:2501.18668v1 宣告类型: 新
摘要: 我们引入了Simulation Streams（仿真流），这是一种编程范式，旨在高效地控制和利用大型语言模型（LLMs）进行复杂的动态仿真和代理工作流。我们的主要目标是创建一个尽可能不干扰的框架，利用LLMs的代理能力，同时解决其在维护一致性、选择性忽略或包含信息以及强制执行严格世界规则方面的局限性。Simulation Streams 通过基于状态的方法实现这一点，在每个“操作员”的顺序步骤中修改变量，产生预定格式的输出，并遵循一致的状态变量规则。这种方法将LLMs集中在定义的任务上，同时试图使上下文流保持“在分布”状态。该方法采用实体-组件-系统（ECS）架构，以更直观的方式编写程序，便于在不同组件和实体之间复用工作流。这种方法增强了输出流的模块化，能够在保持格式一致、信息控制和规则执行的同时进行复杂的多实体仿真。它得到了一个自定义编辑器的支持，该编辑器有助于创建、运行和分析仿真。我们通过一个示例展示仿真流的灵活性，该示例包括正在进行的市场经济发展仿真、三个角色在公园里玩接球游戏的社会仿真以及一组经典的强化学习基准任务。这些示例展示了仿真流处理数百次到数千次迭代的复杂、演变场景的能力，促进不同代理工作流和模型之间的比较，并在LLM驱动的仿真实验中保持一致性和持续有趣的发展。
arXiv:2501.18657v1 通告类型: 新
摘要: 大型语言模型（LLMs）在代码生成和逻辑推理任务中面临显著的标记效率瓶颈，这一挑战直接关系到推理成本和模型可解释性。本文提出了一种基于符号压缩的形式化框架，结合组合逻辑、信息论最优编码和上下文感知推理技术，在保持语义完整性的同时实现标记效率的跨越式提高。我们在函数式编程范式内建立了一个数学框架，推导了符号密度与模型可解释性之间的定量关系，并提出了一种可微压缩因子度量方法来评估编码效率。此外，我们利用参数效率微调（PEFT）技术，以低成本应用GAEL语言。实验结果表明，该方法在代码生成任务中实现了78.3%的标记压缩率，并通过结构显式性提高了逻辑可追溯性62%。这项研究为LLMs高效推理提供了新的理论工具，并为模型可解释性研究开辟了一条符号路径。
量子计算研究的核心挑战之一在于，能否在具有实际应用意义的近期限量子电路中找到量子优势。基于此，本文在概率近似正确（PAC）分布学习框架下，利用浅层量子电路假设证明了无条件的量子优势。我们确定了一个有意义的生成式分布学习问题，其中使用单量子比特和双量子比特门的常数深度量子电路（QNC^0）优于常数深度有界扇入经典电路（NC^0）作为假设类。因此，我们证明了浅层量子电路相对于浅层经典电路的PAC分布学习分离。我们通过利用Bene Watts和Parham关于浅层电路采样任务的无条件量子优势的最新成果，将其提升到超平面学习问题，并确定非局域关联是量子优势的起源。
基于文本的图像扩散模型，例如稳定扩散模型，在生成高质量图像方面展现出非凡的潜力。然而，最近的研究强调了在训练这些模型时使用未经授权数据的担忧，这可能导致知识产权侵犯或隐私泄露。一种减轻这些问题很有前景的方法是为图像添加水印，然后检查生成模型是否复制了类似的水印特征。本文研究了应用于文本到图像模型的各种基于水印的保护方法的鲁棒性。我们观察到，常见的图像变换无法有效去除水印效果。因此，我们提出了RATTAN方法，该方法利用扩散过程对受保护的输入进行受控图像生成，保留输入的高级特征，同时忽略水印利用的低级细节。然后，少量生成的图像用于微调受保护的模型。我们在三个数据集和140个文本到图像扩散模型上的实验表明，现有的最先进的保护方法对RATTAN并不鲁棒。
大型语言模型 (LLM) 代理的应用日益复杂和多样化，对可解析为代码、结构化函数调用和具体代理命令的结构化输出的需求也日益增长。这些发展对 LLM 推理中的结构化生成提出了重大需求。上下文无关文法是一种通过约束解码实现结构化生成的灵活方法。然而，执行上下文无关文法需要在运行时遍历词汇表中所有标记的多个堆栈状态，这给结构化生成带来了不可忽略的开销。在本文中，我们提出了 XGrammar，这是一种用于大型语言模型的灵活高效的结构生成引擎。XGrammar 通过将词汇表划分为可以预先检查的上下文无关标记和需要在运行时解释的上下文相关标记来加速上下文无关文法的执行。我们进一步构建转换以扩展语法上下文并减少上下文无关标记的数量。此外，我们构建了一个高效的持久堆栈来加速上下文相关标记的检查。最后，我们将语法引擎与 LLM 推理引擎共同设计，以使语法计算与 GPU 执行重叠。评估结果表明，XGrammar 可以比现有解决方案快 100 倍。结合 LLM 推理引擎，它可以在端到端低 LLM 服务中实现接近零开销的结构化生成。
理解未来区域和地方尺度的气候变化对于规划和决策至关重要，尤其是在极端天气事件的背景下，以及在农业、保险和基础设施发展等更广泛的应用中。然而，将全球气候模型 (GCMs) 降尺度到此类应用所需的精细分辨率的计算成本构成了一个重大障碍。本研究借鉴天气预报模型的最新进展，提出了一种使用预训练的地球视觉Transformer (Earth ViT) 模型的经济高效的降尺度方法。该模型最初在 ERA5 数据上进行训练，以将分辨率从 50 公里降尺度到 25 公里，然后在更高分辨率的 BARRA-SY 数据集（3 公里分辨率）上进行测试。值得注意的是，它在无需额外训练的情况下表现良好，证明了其跨不同分辨率泛化的能力。这种方法有望通过降尺度具有不同输入分辨率的 GCMs 来生成大量的区域气候模拟集合，而无需产生额外的训练成本。最终，这种方法可以提供对关键气候变量未来潜在变化更全面的估计，从而帮助有效规划极端天气事件和气候变化适应战略。
这项工作发现因果推理为捕捉图神经网络 (GNN) 中的异嗜性消息传递提供了一种有前景的方法。通过利用因果关系分析，我们可以根据节点间不对称的依赖关系识别异嗜性边。学习到的因果结构提供了节点之间更准确的关系。为了降低计算复杂度，我们在图学习中引入了基于干预的因果推理。我们首先通过将其公式化为结构学习模型来简化图上的因果分析，并在贝叶斯框架内定义优化问题。然后，我们提出了一种基于因果关系分解优化目标为一致性惩罚和结构修改的分析方法。然后，我们通过条件熵估计该目标，并深入探讨条件熵如何量化异嗜性。相应地，我们提出了 CausalMP，这是一种用于异嗜性图学习的因果消息传递发现网络，它迭代地学习输入图的显式因果结构。我们在异嗜性和同嗜性图设置中进行了大量的实验。结果表明，我们的模型实现了优越的链路预测性能。在不同基础模型的分类任务中，对因果结构的训练还可以增强节点表示。
大型语言模型 (LLM) 的高效推理已成为一个关键焦点，因为它们的规模和复杂性都在增长。传统的自回归解码虽然有效，但由于其顺序令牌生成过程而导致计算效率低下。推测性解码通过引入两阶段框架（起草和验证）来解决这一瓶颈。一个更小、更高效的模型生成初步草稿，然后由一个更大、更复杂的模型进行细化。本文对推测性解码方法进行了全面综述，将其分为以草稿为中心和以模型为中心的方法。我们讨论了与每种方法相关的关键思想，突出了它们在扩展 LLM 推理方面的潜力。本综述旨在指导未来在优化推测性解码及其集成到现实世界 LLM 应用中的研究。
大型语言模型 (LLM) 的出现激发了大量越狱技术的开发，这些技术旨在规避其针对恶意攻击的安全防御机制。一种有效的越狱方法是识别安全泛化失败的领域，这种现象被称为错配泛化。本文介绍了两种基于错配泛化的新型越狱方法：自然语言游戏和自定义语言游戏，这两种方法都能有效绕过LLM的安全机制，并具有多种类型和不同的变体，使其难以防御并导致高攻击率。自然语言游戏涉及使用人工语言结构及其与这些结构交织的动作，例如Ubbi Dubbi语言。在此现象的基础上，我们提出了自定义语言游戏方法：通过使用各种自定义规则与LLM互动，我们成功地在多个LLM平台上执行了越狱攻击。大量的实验结果表明了我们方法的有效性，在GPT-4o上取得了93%的成功率，在GPT-4o-mini上取得了89%的成功率，在Claude-3.5-Sonnet上取得了83%的成功率。此外，为了研究安全对齐的泛化能力，我们使用自定义语言游戏对Llama-3.1-70B进行了微调，以在我们自己的数据集中实现安全对齐，并发现当通过其他语言游戏进行交互时，微调后的模型仍然无法识别有害内容。这一发现表明，嵌入在LLM中的安全对齐知识无法跨不同的语言格式泛化，从而为该领域的未来研究开辟了新的途径。
2022年标志着技术乃至人类历史的一个分水岭，强大的生成式人工智能的发布使其能够令人信服地完成创造性任务。借助这些系统，任何人都可以创作出以前被认为是杰出艺术作品的东西。在人机协作中，计算机似乎已不仅仅是一种工具。许多第一次接触当前生成式人工智能的人将其视为“创造力机器”，而对另一些人来说，“机器创造力”仍然是一个矛盾修辞法。本文探讨的是机器学习范式下计算机（是否有）创造力的可能性。它概述了这些技术背后的关键概念以及促成这种质变的创新，重点关注文本到图像系统。文章讨论了人工智能创造力的本质，以及这可能对艺术意味着什么。人工智能可能成为艺术创作过程中负责任的合作者，并拥有独立的机器创作元素。