arXiv:2504.13139v2 宣布类型: 替换-交叉 摘要：许多语言模型（LM）应用需要生成符合句法或语义约束的文本。施加这些约束可以自然地被视为概率约束，但从由此产生的分布中进行精确生成——这与LM的基本分布可能大相径庭——通常是不可行的。在本文中，我们基于序贯蒙特卡洛（SMC）开发了一种受控LM生成架构。我们的SMC框架允许我们在推理时灵活地结合领域和特定问题的约束，并在生成过程中根据新信息高效地重新分配计算资源。通过对四个具有挑战性的领域——数据科学中的Python代码生成、文本到SQL、目标推断和分子合成——进行多种替代方案和消融研究，我们证明，在少量额外开销的情况下，我们的方法使小型开源语言模型能够在性能上超过8倍更大的模型，甚至比闭源的微调模型更好。为了支持概率视角，我们展示了这些性能提升是由对后验分布更好的近似所驱动的。我们的系统基于Lew等人（2023）的框架，并与其语言模型的概率编程语言集成，为用户提供了一种简单且可编程的方法来将SMC应用于广泛的受控生成问题中。