arXiv:2504.13139v1 宣告类型: cross 摘要: 一系列语言模型（LM）应用需要生成符合句法或语义约束的文本。施加这些约束可以自然地被框架为概率条件，但在生成过程中，从所得到的分布生成文本（该分布可能与LM的基本分布相差甚远）通常是不可行的。在本文中，我们开发了一种基于顺序蒙特卡罗（SMC）的受控LM生成架构。我们的SMC框架允许我们在推理时灵活地纳入特定领域的约束，并在生成过程中根据新信息有效地重新分配计算资源。通过在四个具有挑战性的领域——数据科学中的Python代码生成、文本到SQL、目标推理和分子合成——上与多个替代方案和消融实验进行比较，我们证明，在很少增加额外开销的情况下，我们的方法可以让开源语言模型优于大小超过其8倍的模型，以及闭源的、微调过的模型。为了支持概率视角，我们展示了这些性能提升是由更好的后验分布近似所驱动的。我们的系统基于Lew等人（2023）的框架，并与该语言模型的概率编程语言集成，为用户提供了一种简单、可编程的方式来将SMC应用于广泛的受控生成问题。