arXiv:2501.07824v3 通知类型: replace-cross 摘要：大型语言模型（LLMs）在各种自然语言任务中表现出色。然而，它们仍然面临一个关键挑战，即有时会生成事实性错误的答案。为了解决这一问题，尽管许多先前的工作集中于识别其生成过程中的错误并进一步对其进行修正，但它们在部署时速度较慢，因为这些工作设计为仅在LLM完成其整个生成过程（从第一个到最后一个词）后才进行验证。此外，我们观察到，一旦LLM早期生成了错误的词，后续的词也更有可能是事实性错误的。为了解决这一问题，本文提出了一种名为Streaming-VR（流式验证和修正）的新颖方法，旨在提高LLM输出验证和修正的效率。具体而言，Streaming-VR可以在生成过程中实时验证和修正每个词，类似于流式处理，确保每个词子集在LLM构建其响应的过程中由另一个LLM实时检查和修正。通过在多个数据集上的全面评估，我们展示了该方法不仅提高了LLM的事实准确性，还提供了一种比先前的修正方法更高效的方法。