现有的基于检索的大语言模型 (LLM) 推理方法严重依赖非参数知识源的密度和质量来提供领域知识和显式推理链。然而，对于科学或专业领域，构建包含性知识源成本高昂，有时甚至不可行。为了解决这些挑战，我们引入了图启发式真实性外推 (GIVE)，这是一种新颖的推理框架，它将参数和非参数记忆相结合，以增强非常稀疏的知识图上的知识检索和忠实推理过程。通过利用外部结构化知识来启发 LLM 对相关概念之间相互联系的建模，我们的方法促进了更符合逻辑的逐步推理方法，类似于专家解决问题的方式，而不是黄金答案检索。具体来说，该框架提示 LLM 将查询分解为关键概念和属性，使用相关实体构建实体组，并通过探测这些实体组中节点对之间的潜在关系来构建增强的推理链。我们的方法结合了事实链接和外推链接，以实现全面的理解和响应生成。在生物医学和常识问答推理密集型基准上的大量实验表明了我们提出的方法的有效性。具体来说，GIVE 使 GPT3.5-turbo 能够在没有任何额外训练成本的情况下，超越 GPT4 等高级模型，从而强调了将结构化信息和 LLM 的内部推理能力相结合，以解决资源有限的专业任务的有效性。