arXiv:2412.09078v3 宣告类型: replace-cross 摘要: 大型语言模型（LLMs）在各种语言任务中展现了惊人的能力，但在解决复杂推理问题方面仍面临重大挑战。尽管现有方法，如思维链（Chain-of-Thought, CoT）和思维树（Tree-of-Thought, ToT），通过分解问题或结构化提示来增强推理能力，但它们通常只进行一次推理过程，并且可能无法重新审视错误的路径，从而损害准确性。为了应对这一局限性，我们提出了一种新的推理框架，称为思维森林（Forest-of-Thought, FoT），该框架结合了多个推理树，借助集体决策来解决复杂逻辑问题。FoT 使用稀疏激活策略选择最相关的推理路径，从而提高效率和准确性。此外，我们还引入了一种动态自我修正策略，以实现实时错误修正，并采用共识引导的决策策略来优化正确性和计算资源。实验结果表明，结合这些策略的FoT框架显著增强了LLMs的推理能力，使其能够以更高的精度和效率解决复杂任务。代码将在 https://github.com/iamhankai/Forest-of-Thought 可用。