arXiv:2408.17017v3 宣告类型: replace-cross 摘要：自我一致性通过采样多种推理路径来减轻大型语言模型（LLMs）中的幻觉现象，但缺乏系统的方法来确定最优的采样数量或选择最忠实的推理。为了解决这一局限性，我们引入了一种新型框架——感知推理自一致性（RASC），通过动态评估输出和推理，增强采样效率和推理忠实度。RASC 对每条生成样本的质量推理和答案的一致性进行评估，并利用这些评估来指导早期停止决策和推理选择。该框架采用基于标准的停止和加权多数投票方法，使在何时停止采样以及选择哪种推理能够做出更明智的选择。我们的跨多种问答数据集的全面实验表明，RASC 在保持准确性的同时，比现有方法减少了约 70% 的样本使用量。此外，RASC 促进了高保真推理的选择，从而提高了 LLMS 输出的忠实度。我们提出的方法有效地解决了 LLMS 推理任务中的效率-准确性的权衡问题，在资源受限的环境中提供了更细致、忠实和有效的 LLMS 利用的新视角。