摘要
arXiv:2409.10038v3 宣告类型: replace-cross
摘要: 当前的大型语言模型(LLMs)展示了令人印象深刻的性能,但在处理复杂、多步骤的推理任务时却存在困难。现有的方法通常通过需要外部控制机制或多种模型的协调来解决这一问题,这会增加系统的复杂性,并且通常缺乏推理正确性的形式保证。我们提出了思维图谱(DoT,Diagram of Thought),这是一种框架,在这种框架中,单个自回归LLM在内部构建并导航有向无环图(DAG)。该DAG代表了迭代的推理过程,包括提出想法、批判它们、根据反馈进行完善以及综合结论。这个自我协调、自我包含的过程通过标准生成循环中嵌入的学习角色特定标记(例如,<proposer>、<critic>、<summarizer>)进行引导,从而消除对外部依赖的需要。至关重要的是,我们通过拓扑理论为DoT建立了严格的数学基础。我们将推理DAG形式化为适当拓扑内的一个图表,并证明最终的综合步骤,即汇总验证过的信息,从语义上对应于计算相关子图的柯里特(colimit)。这种形式化为合成结果的逻辑一致性和鲁棒性提供了理论保证。因此,DoT提供了一种统一的、自我包含的、可解释的、高效的形式化方法,旨在显著提高LLMs的复杂推理能力。