arXiv:2411.06251v2 宣告类型: 替换 摘要: 大型语言模型（LLMs）通常配备了多样本解码策略。一个LLM隐式定义了一个算术编码本，这使得使用准随机代码进行高效的、几乎是并行化的**算术采样**来产生多个样本成为可能。传统的文本生成方法，如束搜索和基于采样的技术，有着明显的局限性：它们缺乏并行化能力或采样序列的多样性。本研究探讨了算术采样的潜在优势，将其与祖先采样方法进行了对比，在两种采用多样本推断的解码任务中进行了研究：具有自一致性的心灵风暴推理和具有最小贝叶斯风险解码的机器翻译。我们的结果显示，随着样本数量的增加，算术采样生成的样本具有更高的多样性，显著提高了推理和翻译性能。使用算术采样在GSM8K数据集上观察到准确性提高了$\mathbf{3\text{-}5\%}$，在WMT19任务上观察到COMET分数提高了$\mathbf{0.45\text{-}0.89\%}$，而没有任何显著的计算开销。