arXiv:2502.01657v1 宣告类型：交叉 摘要：大型语言模型（LLMs）在可靠地解决推理任务方面仍然面临挑战，尤其是在涉及精确规则遵循的数学推理任务中。本文介绍了一种新的神经符号方法，通过将隐藏状态编码为神经符号向量，改进了LLM的推理能力，以便在神经符号向量空间内解决问题。结果解码并与原始隐藏状态结合，提升了模型在数值推理任务上的性能。通过神经符号表示卸载计算，该方法提高了效率、可靠性和可解释性。我们的实验结果表明，与链式思维提示和监督微调（LoRA）相比，在一系列数学推理问题上，该方法的交叉熵损失降低了平均82.86%，正确解决问题的数量提高了24.50倍，同时不影响LLM在其他任务上的性能。