arXiv:2411.00784v2 宣告类型: replace-cross 摘要：验证长篇文本的准确性是一项挑战，因此通常的做法是将其分解为多个原子断言。对这些原子断言的典型验证方法涉及检索固定数量的证据，然后进行验证步骤。然而，这种方法通常不太经济实惠，因为它未能充分利用验证模型对断言的内部知识，并且无法复制人类搜索策略中的迭代推理过程。为了解决这些限制，我们提出了一种名为FIRE的新型基于代理的框架，该框架以迭代的方式结合了证据检索和断言验证。具体而言，FIRE采用了一种统一机制来决定是提供最终答案还是生成后续的搜索查询，基于其对当前判断的信心。我们将FIRE与其他强大的事实核查框架进行比较，发现它在性能上略胜一筹，同时将大型语言模型（LLM）成本降低了平均7.6倍，搜索成本降低了16.5倍。这些结果表明，FIRE在大规模事实核查操作中的应用前景广阔。我们的代码可在 https://github.com/mbzuai-nlp/fire.git 获取。