arXiv:2502.01657v1 类型: cross 摘要: 大型语言模型（LLMs）在可靠地解决推理任务方面仍然面临挑战，特别是在涉及精确规则遵循的数学推理任务中更为明显。本文提出了一个新颖的神经符号方法，通过将隐藏状态编码到神经符号向量中来提升LLM的推理能力，从而在神经符号向量空间内解决推理问题。结果被解码并与原始隐藏状态结合，提升了模型在数值推理任务上的性能。通过神经符号表示卸载计算，该方法提高了效率、可靠性和可解释性。我们的实验结果表明，与基于思维链提示和监督微调（LoRA）相比，该方法在一组数学推理问题上平均减少了82.86%的交叉熵损失，并且正确解决了24.50倍多的问题，同时并未妨碍LLM在其他任务上的性能。