LLM2D
解码游戏:关于启发式文本生成策略的极小极大最优性
Decoding Game: On Minimax Optimality of Heuristic Text Generation Strategies
作者: Sijin Chen, Omar Hagrass, Jason M. Klusowski
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.03968v1

摘要

解码策略在现代语言模型的文本生成中起着至关重要的作用,然而理论与实践之间存在令人费解的差距。令人惊讶的是,直观上应该是最优的策略,例如最大后验概率 (MAP),在实践中往往表现不佳。与此同时,流行的启发式方法,如 Top-$k$ 和 Nucleus 采样,它们利用条件下一个词概率的截断和归一化,在经验上取得了巨大成功,但缺乏理论依据。在本文中,我们提出了解码游戏,一个全面的理论框架,它将文本生成重新构想为一个两人零和博弈,博弈双方分别是策略者,他试图生成在真实分布中可信的文本,以及自然,它以对抗的方式扭曲真实分布。在讨论多步生成的分解性之后,我们推导出一步解码游戏的闭式最优策略。结果表明,对抗性的自然对似然最大化施加了隐式正则化,而截断-归一化方法是这种正则化下最优策略的一阶近似。此外,通过泛化解码游戏的目标和参数,近似最优策略涵盖了各种方法,如贪婪搜索、温度缩放以及它们的混合。进行了数值实验以补充我们的理论分析。