arXiv:2408.17017v3 宣布类型: replace-cross 摘要：自我一致性通过采样多种推理路径来减轻大型语言模型（LLMs）的幻觉现象，但缺乏系统的方法来确定最佳采样数量或选择最忠实的论据。为了解决这一限制，我们引入了推理感知自我一致性（RASC），这是一种新型框架，通过动态评估输出和论据来增强采样效率和推理忠实度。RASC 评估每个生成样本的质量和答案的一致性，并使用这些评估来指导早期停止决策和论据选择。该框架采用基于准则的停止和权重多数投票机制，使人们在何时停止采样和选择哪份论据时能够做出更为明智的选择。我们在多种问题回答数据集上的全面实验表明，RASC 能够在保持准确性的同时将样本使用量降低约 70%。此外，RASC 促进了高保真论据的选择，从而提高了 LLM 输出的忠实度。我们的方法有效解决了 LLM 推理任务中的效率-准确性权衡问题，为更细腻、忠实和有效的 LLM 利用提供了一个新的视角，尤其是在资源受限的环境中。