LLM2D
从霍普菲尔德视角理解思维链中的推理
Understanding Reasoning in Chain-of-Thought from the Hopfieldian View
作者: Lijie Hu, Liang Liu, Shu Yang, Xin Chen, Zhen Tan, Muhammad Asif Ali, Mengdi Li, Di Wang
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03595v1

摘要

大型语言模型在各种任务中展现出非凡的能力,其中思维链(CoT)提示已成为增强推理能力的关键技术。然而,现有的研究主要集中在提高性能上,缺乏一个全面的框架来解释和理解 CoT 成功背后的基本因素。为了弥合这一差距,我们引入了一种基于认知神经科学中霍普菲尔德认知观点的新视角。我们将 CoT 推理与刺激、行动、神经群体和表征空间等关键认知元素联系起来。从我们的观点来看,我们可以将推理过程理解为在这些表征空间之间的移动。基于这一见解,我们开发了一种方法来定位 CoT 响应中的推理错误。此外,我们提出了思维表征(RoT)框架,该框架利用低维表征空间的鲁棒性来增强 CoT 中推理过程的鲁棒性。实验结果表明,RoT 提高了 CoT 推理的鲁棒性和可解释性,同时提供了对推理过程的细粒度控制。