arXiv:2502.05111v1 Announce Type: cross 摘要：大型语言模型（LLMs）通常被要求生成遵守精确语法规则的结构化输出，例如代码片段或格式化数据。语法约束解码（GCD）可以通过屏蔽那些会明显导致不属于指定上下文自由文法（CFG）的输出的令牌，来确保LLM的输出符合这些规则。为了保证正确性，GCD算法必须计算给定的LLM子词分词器如何与给定的上下文自由文法使用的令牌对齐，并基于此信息计算令牌掩码。高效地做到这一点颇具挑战性，现有的GCD算法在预处理常见文法时需要十几分钟。我们提出了一种新的GCD算法及其实现，在提供比现有方法快17.71倍的离线预处理速度的同时，保持了与现有技术相同的在线掩码计算效率。