大型语言模型 (LLM) 因其庞大的参数数量和在海量数据集上的训练，在数学推理任务中展现出卓越的能力。尽管如此，LLM 的部署受到其计算需求的限制。将 LLM 的数学推理能力蒸馏到更小的语言模型 (SLM) 中已成为解决这一挑战的方案，但这些更小的模型经常在计算和语义理解方面出现错误。先前的工作提出了思想程序蒸馏 (PoTD) 来避免计算错误。为了进一步解决语义理解错误，我们提出了关键点驱动的数学推理蒸馏 (KPDD)。KPDD 通过将问题解决过程分解为三个阶段来增强 SLM 的推理性能：核心问题提取、问题解决信息提取和逐步解决方案。该方法进一步细分为生成思维链推理的 KPDD-CoT 和生成思想程序推理的 KPDD-PoT。实验结果表明，KPDD-CoT 显着提高了推理能力，而 KPDD-PoT 在数学推理任务中取得了最先进的性能。我们的方法有效地减轻了误解错误，促进了高效且功能强大的 SLM 的部署。