LLM2D
不要让它幻觉:基于检索增强逻辑推理的前提验证
Don't Let It Hallucinate: Premise Verification via Retrieval-Augmented Logical Reasoning
作者: Yuehan Qin, Shawn Li, Yi Nian, Xinyan Velocity Yu, Yue Zhao, Xuezhe Ma
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06438v1

摘要

arXiv:2504.06438v1 类型: cross 摘要:大规模语言模型(LLMs)展示了生成流畅且上下文相关响应的巨大能力。然而,当用户查询包含一个或多个虚假前提(与已建立的事实相矛盾的断言)时,它们可能会产生虚构的输出。此类前提可能导致LLMs提供虚构或误导性的细节。现有的方法包括预训练、微调和推理时的技术,这些方法通常依赖于访问logits,或者在虚构发生后才进行处理。这些方法往往计算成本高昂,需要大量的训练数据,或者缺乏预防生成前虚构发生的主动机制,这限制了它们在实时应用中的效率。我们提出了一种检索为基础的框架,可以在生成之前识别和处理虚假前提。我们的方法首先将用户的查询转换为逻辑表示,然后使用检索增强生成(RAG)来使用事实来源评估每个前提的有效性。最后,我们将验证结果纳入LLM的提示中,以确保最终输出的准确性。实验结果显示,这种方法有效地减少了虚构的输出,提高了事实准确性,并不需要访问模型logits或大规模微调。