arXiv:2502.00511v2 类型: 替换交叉 摘要：大型语言模型（LLMs）的最近进展展现了卓越的推理能力。然而，单次推理对于复杂的推理任务往往会导致不可靠的结果，这促使研究人员通过困惑度和自一致性等方法探索多种推理路径。在本文中，我们首次提供了对这些技术的理论误差分解分析，将它们的误差分解为估计误差和模型误差。我们的分析揭示了一个基本的权衡：困惑度方法由于缺乏适当的 consistency 函数而导致显著的模型误差，而自一致性由于收敛误差的缓慢速度而导致较高的估计误差。为了克服这些限制，我们提出了推理修剪困惑度一致性（RPC）这种方法。这种方法结合了困惑度一致性，无缝地将LLM的困惑度与自一致性集成在一起，并且通过消除低概率的推理路径有效地防止估计误差减少的退化。理论分析表明，RPC 不仅将估计误差的收敛率加速到指数级别，还具有进一步减少模型误差的强潜力。在七个基准数据集上的广泛实验评估证实，RPC 显著提高了推理性能、采样效率和置信可靠性。