arXiv:2403.01954v4 宣布类型: replace-cross 摘要：受限解码方法旨在控制预训练的大语言模型（LLMs 或者 PLMs）在推理时生成的文本的意义或风格，以满足各种任务的需求。然而，这些方法往往通过贪婪地和明确地选择目标来引导可能的延续。尽管满足任务要求，这些方法可能会忽略人类在追求这些目标时会隐含遵循的一些普遍和自然的逻辑。受到认知二过程理论的启发，本文提出了一种新型解码框架 DECIDER，在该框架中，基础的大语言模型配备了功能完备一阶逻辑（FOL）推理器来表达和评估规则，并结合一个决策函数来合并两个系统的输出以引导生成。与之前的受限解码不同，DECIDER将对特定目标词的鼓励转变为满足若干高层规则的所有词，使我们能够程序化地将我们的逻辑集成到大语言模型中。在 CommonGen 和 PersonaChat 上的实验表明，DECIDER能够更像人类和更受到逻辑控制的方式引导大语言模型遵循给定的 FOL 规则。