摘要
arXiv:2504.10646v1 交叉公告类型
摘要:大型语言模型(LLMs)在使用链式思考(Chain-of-Thought, CoT)策略提示时展示了出色的理解能力。然而,这些方法关注的是标记级别的输出,而没有考虑内部权重动态。我们引入了思考权重(Weight-of-Thought, WoT)推理,这是一种新颖的方法,它在推理之前检查神经网络权重,以识别推理路径。与现有方法不同,WoT 通过基于图的消息传递、多步推理过程和注意机制来探索权重空间。我们的实现创建了一个相互连接的推理节点图。实验表明,WoT 在多元推理任务(三段论、数学、代数、组合和几何)中表现优于传统方法,特别是在复杂问题上。这种方法不仅提高了推理能力,还增强了推理过程的可解释性,为增强LLM推理能力提供了有前景的方向。