摘要
检索增强生成 (RAG) 虽然能够有效地整合外部知识来克服大型语言模型 (LLM) 的局限性,但可能会因检索不完善而受到影响,这可能会引入不相关、误导性甚至恶意信息。尽管这项研究很重要,但之前的研究很少通过联合分析来探索 RAG 的行为,即不完善检索的错误是如何归因和传播的,以及大型语言模型的内部知识和外部信息源之间可能出现哪些冲突。我们通过在现实条件下的受控分析发现,不完善的检索增强可能是不可避免的,而且相当有害。我们将检索中大型语言模型内部知识和外部知识之间的知识冲突确定为 RAG 后检索阶段需要克服的瓶颈。为了使大型语言模型能够抵抗不完善的检索,我们提出了 Astute RAG,这是一种新颖的 RAG 方法,它能够自适应地从大型语言模型的内部知识中提取必要信息,迭代地整合内部和外部知识并进行溯源,并根据信息的可靠性最终确定答案。我们使用 Gemini 和 Claude 进行的实验表明,Astute RAG 的性能明显优于以前的鲁棒性增强型 RAG 方法。值得注意的是,Astute RAG 是唯一一种在最坏情况下能够匹配或超过不使用 RAG 的大型语言模型性能的方法。进一步的分析表明,Astute RAG 有效地解决了知识冲突,提高了 RAG 系统的可靠性和可信度。