arXiv:2410.16930v2 宣告类型: replace-cross 摘要：数学推理是大型语言模型（LLM）研究的一个活跃领域，因为它是人工智能的标志，并在包括数学教育在内的多个领域具有重要意义。然而，很少有研究探讨数学推理是如何在LLM参数中编码的，以及这种能力是否可以在模型中隔离。通过这样做，可以在不改变非数学行为的情况下，针对数学表现进行干预，同时也能够增进对模型如何编码数学推理的理解。我们引入了数学神经外科（MathNeuro），这是一种计算效率高的方法，我们使用仅正向传递来隔离LLM中的数学专用参数。MathNeuro 基于现有的工作，通过使用权重和激活来计算参数的重要性，但通过过滤掉对通用语言任务重要的参数来隔离数学专用参数。通过修剪MathNeuro识别出的参数，我们在不显著影响模型通用语言能力的情况下删除了LLM的数学推理能力。通过对识别出的参数进行微小常数的缩放，可以在GSM8K上提高预训练或指令调优的LLM 4-17%的性能，在MATH上则提高5-35%的性能，同时不会改变非数学行为。MathNeuro还具有数据效率：在其识别数学专用参数方面的大部分有效性当仅使用一个样本时仍然成立。MathNeuro突显了未来工作干预数学专用参数的潜在可能性。