LLM2D
权重思考推理:探索神经网络权重以增强大语言模型推理
Weight-of-Thought Reasoning: Exploring Neural Network Weights for Enhanced LLM Reasoning
作者: Saif Punjwani, Larry Heck
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2504.10646v1

摘要

arXiv:2504.10646v1 交叉公告类型 摘要:大型语言模型(LLMs)在使用链式思考(Chain-of-Thought, CoT)策略提示时展示了出色的理解能力。然而,这些方法关注的是标记级别的输出,而没有考虑内部权重动态。我们引入了思考权重(Weight-of-Thought, WoT)推理,这是一种新颖的方法,它在推理之前检查神经网络权重,以识别推理路径。与现有方法不同,WoT 通过基于图的消息传递、多步推理过程和注意机制来探索权重空间。我们的实现创建了一个相互连接的推理节点图。实验表明,WoT 在多元推理任务(三段论、数学、代数、组合和几何)中表现优于传统方法,特别是在复杂问题上。这种方法不仅提高了推理能力,还增强了推理过程的可解释性,为增强LLM推理能力提供了有前景的方向。