检索增强生成 (RAG) 在现代大型语言模型 (LLM) 中获得了极大的普及，因为它在引入新知识和减少幻觉方面非常有效。然而，人们对 RAG 的深刻理解仍然有限，RAG 如何帮助推理过程以及 RAG 是否可以帮助提高推理能力仍然是一个问题。虽然外部文档通常被认为是整合特定领域信息的一种方法，但它们也包含与查询相关的中间推理结果，这表明文档可以增强 LLM 的推理能力，这在以前从未被探索过。在本文中，我们深入研究了这个问题，发现虽然 RAG 可以帮助推理，但帮助有限。如果我们将推理过程概念化为一个固定深度的树，那么 RAG 难以帮助 LLM 进行更深层次的推理。此外，文档中的信息需要预处理以过滤掉噪声。我们证明，这种预处理很难仅仅通过微调 LLM 来实现，它通常需要许多额外的 Transformer 层来解决问题。为了简化问题，我们提出了 DPrompt 调优，它可以有效地解决问题，只需有限的 Transformer 层，从而提高性能。