arXiv:2503.07807v2 宣告类型: 替换交叉 摘要：推测解码是一种通过使用小型草稿模型预测目标模型的输出来加速大型语言模型（LLMs）推理的有效方法。然而，当将推测解码适应特定领域的目标模型时，通用草稿模型的接受率因领域偏移而显著下降。在本工作中，我们系统地研究了知识蒸馏技术在训练领域特定的草稿模型以提高其推测准确性方面的应用。我们比较了白盒和黑盒蒸馏方法，并在不同的数据可访问性情景下探索了它们的有效性，包括历史用户查询、精心整理的领域数据以及合成生成的对齐数据。我们在函数调用、生物学和中文领域进行的实验显示，离线蒸馏比在线蒸馏在准确率上高出11%到25%，白盒蒸馏比黑盒蒸馏高出2%到10%，并且数据量趋势在各个领域中一致成立。此外，我们发现合成数据可以有效地对齐草稿模型，并能达到历史用户查询训练性能的80%到93%。这些发现为训练特定领域的草稿模型以提高推测解码效率提供了实用指南。