arXiv:2502.00511v1 交叉公告类型 摘要：最近在大规模语言模型（LLMs）方面取得的进展展示了出色的推理能力。然而，单次推理往往会由于复杂推理任务而产生不可靠的结果，促使研究人员通过困惑度和自一致性等方法探索多种推理路径。在本文中，我们首次对这些技术的理论误差分解进行了分析，将它们的误差分解为估计误差和模型误差。我们的分析揭示了一种基本的权衡：由于缺乏适当的自一致性函数，困惑度方法遭受了严重的模型误差；而自一致性则因误差收敛速度较慢而表现出较高的估计误差。为了克服这些限制，我们提出了推理剪枝困惑度一致性（RPC）方法。这种方法结合了困惑度一致性，该方法将LLM困惑度与自一致性无缝集成，以及推理剪枝，该方法通过消除低概率推理路径来有效防止估计误差减少的退化。理论分析表明，RPC不仅加速了估计误差收敛率到指数级别，还具有进一步减少模型误差的强大潜力。在七个基准数据集上的广泛实证评估证实了RPC在提高推理性能、样本效率和置信可靠性的显著效果。