LLM2D
CoAT:增强大型语言模型推理能力的关联思维链框架
CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning
作者: Jianfeng Pan, Senyou Deng, Shaomang Huang
发布日期: 2/5/2025
arXiv ID: 2502.02390

摘要

arXiv:2502.02390v1 文本类型: cross 摘要:大规模语言模型(LLM)技术的研究正迅速发展,大多数技术采用“快速思考”方法进行推理。大多数LLM基于单次查询和LLM的推理能力生成最终结果。然而,随着OpenAI-o1的出现,“慢思考”技术逐渐引起了关注,因为其过程更接近人类的思考过程。受到人类在思考过程中不断关联和补充知识的能力的启发,我们开发了新颖的关联思考链(CoAT)框架,引入了蒙特卡洛树搜索(MCTS)算法与一种动态的新关键信息集成机制,称为“关联记忆”。通过结合MCTS的结构化探索能力和关联记忆的自适应学习能力,CoAT极大地扩展了LLM的搜索空间,使我们的框架能够探索多种推理路径,并实时动态更新其知识库。这使得框架不仅能够重新访问和完善早期推理,还能适应性地纳入不断变化的信息,确保最终输出既准确又全面。为了验证我们框架的有效性,我们在多种生成和推理任务中进行了广泛的实验。这些实验表明,我们的框架在精确性、连贯性和多样性方面优于传统的推理过程。框架能够迭代扩展其搜索空间同时保留上下文相关信息的能力得到了验证。