arXiv:2501.07824v2 宣告类型: replace-cross 摘要：大规模语言模型（LLMs）在各种自然语言任务中表现出色。然而，一个关键挑战在于它们有时会生成事实性错误的答案。为了解决这个问题，尽管许多先前的工作集中在识别它们生成中的错误并进一步对其进行完善，但它们在部署时相对较慢，因为它们的设计是在LLMs完成整个生成过程（从第一个到最后一个词元）之后才验证响应。进一步地，我们观察到，一旦LLMs在早期生成错误的词元，后续词元也更有可能是事实性错误。为此，在本文中，我们提出了一种称为Streaming-VR（流式验证和完善）的新方法，旨在增强LLMs输出验证和完善的效率。具体而言，所提出的Streaming-VR能够在生成过程中实时验证和修正词元，类似于流式处理过程，确保每一组生成的词元都在LLMs构建其响应的过程中由另一个LLM实时检查和修正。通过在多个数据集上的全面评估，我们展示了我们的方法不仅提高了LLMs的事实准确性，而且还提供了与先前的完善方法相比更高效的解决方案。