arXiv:2502.11684v1 交叉公告类型：cross 摘要：数学推理是推动大型语言模型（LLMs）发展的关键前沿领域。尽管逐步方法已成为LLMs中数学问题解决的主要范式，但训练数据中推理步骤的质量从根本上限制了模型的表现。最近的研究表明，更详细的中间步骤可以提高模型性能，然而现有的步骤扩展方法要么需要更强大的外部模型，要么会带来巨大的计算成本。在本文中，我们引入了MathFimer，一种以代码补全任务中的“填空”任务为灵感的数学推理步骤扩展新框架。通过将解决方案链分解为前缀-后缀对，并训练模型重构缺失的中间步骤，我们使用精心挑选的NuminaMath-FIM数据集开发了一个专门的模型MathFimer-7B。然后，我们将这些模型应用到现有的数学推理数据集中，通过将详细的中间步骤插入到解决方案链中，创建了MathFimer扩展版本。通过在包括MathInstruct、MetaMathQA等多个数学推理数据集上的全面实验，我们证明了基于MathFimer扩展数据训练的模型在各种基准测试，如GSM8K和MATH中，始终优于基于原始数据训练的模型。我们的方法提供了一种实用且可扩展的解决方案，可在不依赖于强大外部模型或昂贵的推断程序的情况下增强LLMs的数学推理能力。