LLM2D
Forest-of-Thought: 扩大规模测试时计算以增强LLM推理
Forest-of-Thought: Scaling Test-Time Compute for Enhancing LLM Reasoning
作者: Zhenni Bi, Kai Han, Chuanjian Liu, Yehui Tang, Yunhe Wang
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2412.09078v2

摘要

arXiv:2412.09078v2 宣告类型: 替换-交叉 摘要:大型语言模型(LLMs)在各种语言任务中展现了非凡的能力,但在解决复杂的推理问题上仍面临重大挑战。虽然现有的方法,如链式思考(CoT)和思维树(ToT),通过分解问题或结构化提示来增强推理能力,但它们通常只进行单次推理,可能无法重新访问有缺陷的路径,从而损害了准确性。为了解决这一局限性,我们提出了一种新的推理框架——思维森林(FoT),该框架通过结合多个推理树来利用集体决策解决复杂的逻辑问题。FoT 使用稀疏激活策略来选择最相关的推理路径,从而提高效率和准确性。此外,我们引入了一种动态自我纠正策略,能够实现即时错误纠正,以及基于共识的决策策略,以优化正确性和计算资源的使用。实验结果表明,结合这些策略的FoT框架显著增强了LLMs的推理能力,使其能够以更高的精度和效率解决复杂的任务。