检索增强生成 (RAG) 通过知识检索来弥补大型语言模型 (LLM) 的知识缺口，从而增强了大型语言模型的能力。然而，现有的 RAG 方法往往无法确保检索信息的深度和完整性，而这对于复杂的推理任务至关重要。在这项工作中，我们提出了 Think-on-Graph 2.0 (ToG-2)，这是一个混合 RAG 框架，它以紧密集成的方式迭代地从非结构化和结构化知识源检索信息。具体来说，ToG-2 利用知识图谱 (KG) 通过实体连接文档，促进深度和知识引导的上下文检索。同时，它使用文档作为实体上下文，实现精确高效的图检索。ToG-2 在图检索和上下文检索之间交替进行，以搜索与问题相关的深入线索，从而使 LLM 能够生成准确的答案。我们进行了一系列实验，以证明 ToG-2 的以下优势：（1）ToG-2 紧密集成上下文检索和图检索，通过 KG 增强上下文检索，同时基于上下文实现可靠的图检索；（2）它通过集成上下文和 KG 的迭代知识检索过程，在 LLM 中实现深度和忠实的推理；（3）ToG-2 是免训练的，并且作为即插即用解决方案与各种 LLM 兼容。大量的实验表明，ToG-2 在 7 个知识密集型数据集中的 6 个数据集上使用 GPT-3.5 达到了最先进 (SOTA) 的性能，并且可以将小型模型（例如，LLAMA-2-13B）的性能提升到 GPT-3.5 直接推理的水平。