LLM2D
CoAT: 增强大型语言模型推理能力的关联思考链框架
CoAT: Chain-of-Associated-Thoughts Framework for Enhancing Large Language Models Reasoning
作者: Jianfeng Pan, Senyou Deng, Shaomang Huang
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2502.02390v1

摘要

arXiv:2502.02390v1 类别: cross 摘要: LLM技术的研究正迅速兴起,大多数研究采用“快速思考”推理方法。大多数LLM仅基于单个查询和LLM的推理能力生成最终结果。然而,随着OpenAI-o1的出现,“慢思考”技术正逐渐受到关注,因为其过程更接近人类的思考过程。受人类在思考过程中不断关联和补充知识的能力启发,我们开发了新颖的Chain-of-Associated-Thoughts (CoAT)框架,该框架引入了蒙特卡洛树搜索(MCTS)算法和一种新的动态机制,称为“关联记忆”,用于整合新关键信息。通过将MCTS的结构化探索能力与关联记忆的自适应学习能力相结合,CoAT显著扩大了LLM的搜索空间,使我们的框架能够探索多种推理路径,并在实时更新其知识库。这使框架不仅能够重访和精细化先前的推理,还能适应性地纳入不断变化的信息,确保最终输出既准确又全面。为了验证我们框架的有效性,我们在一系列生成性和推理性任务中进行了广泛实验。这些实验表明,我们的框架在准确度、连贯性和多样性方面优于传统的推理过程。框架能够在保留相关上下文信息的同时,迭代扩展其搜索空间。