arXiv:2501.07824v4 宣告类型: replace-cross 摘要：大型语言模型（LLMs）在广泛自然语言任务中表现出色。然而，它们有时会产生事实错误的回答，这是一个关键挑战。为了解决这一问题，尽管许多先前的工作集中在识别其生成过程中的错误并进一步改进它们，但它们在部署上较慢，因为这些工作设计为在生成过程完成后（从第一个到最后一个标记）仅验证LLM的响应。此外，我们观察到，一旦LLMs在早期生成错误的标记，后续标记也更有可能是事实错误的。为此，本文提出了一种名为 Streaming-VR（流式验证和改进）的新方法，旨在提高验证和改进LLM输出的效率。具体而言，提出的Streaming-VR能够在生成过程中实时验证和纠正标记，类似于流式过程，在LLM构建其响应时，另一个LLM可以实时检查和改进标记的每个子集。通过对多个数据集进行综合评估，我们证明了我们的方法不仅提高了LLM的事实准确性，还提供了比前一种改进方法更有效的解决方案。