arXiv:2410.08475v2 通告类型: 修改 摘要: 依赖上下文提示或强化学习(RL)以改进大型语言模型(LLMs)的推理能力的方法，都依赖于LLMs内部的知识来生成可靠的链式思考(CoT)。然而，无论LLMs的大小如何，某些问题仍然无法在一 passes 中得到解决。同时，基于代理的推理系统需要访问全面的非参数化知识库，这对于科学和专门领域的使用往往是昂贵的或不可行的。我们提出了图启发的真实性外推(GIVE)，这是一种新颖的推理方法，将参数性和非参数性记忆相结合，以在最少的外部输入下提高准确推理的能力。GIVE 指引LLM 代理选择最相关专有数据(观察)，参与查询特定的发散性思考(反思)，然后综合这些信息以生成最终输出(发言)。广泛的实验表明，我们的框架具有以下优点：(1) GIVE 在各种尺寸的LLMs中提高了性能。(2) 在某些场景中，GIVE 使较小的LLMs能够在科学任务中超越更大的、更复杂的LLMs (GPT3.5T + GIVE > GPT4)。(3) GIVE 在科学和开域评估中有效。(4) GIVE 是一种无需训练的方法，使LLMs能够应对超出其训练数据的新问题 (准确率提升从43.5% -> 88.2%)。(5) GIVE 允许LLM代理使用有限的(非常小)和噪音的(非常大)知识源进行推理，能够支持从135到超过840,000个节点的知识图。(6) GIVE 的推理过程完全可解释。