摘要
检索增强生成 (RAG) 在现代大型语言模型 (LLM) 中获得了极大关注,因为它能够有效地引入新知识并减少幻觉。然而,人们对 RAG 的深入理解仍然有限,RAG 如何帮助推理过程以及 RAG 是否能够帮助提高推理能力仍然是一个疑问。虽然外部文档通常被视为一种整合领域特定信息的途径,但它们也包含与查询相关的中间推理结果,这表明文档可以增强 LLM 的推理能力,而这方面尚未得到探索。本文深入研究了这个问题,发现 RAG 可以帮助推理,但帮助有限。如果我们将推理过程概念化为一个固定深度的树,那么 RAG 难以帮助 LLM 执行更深层的推理。此外,文档中的信息需要预处理以过滤掉噪声。我们证明,这种预处理很难仅仅通过微调 LLM 来实现,它通常需要许多额外的 Transformer 层来解决问题。为了简化问题,我们提出了 DPrompt 调优,它能够在有限的 Transformer 层内有效地解决问题,从而提高性能。