arXiv:2504.20946v2 通知类型: 更新-交叉 摘要：知识蒸馏使较小的神经网络能够在减少计算需求的情况下模拟大型教师模型的性能。传统的大型语言模型（LLMs）方法通常需要大量的微调，这限制了它们的可访问性。为了解决这个问题，我们引入了思维过程追溯（Trace-of-Thought Prompting），这是一种新颖的框架，旨在将高资源教师模型（超过80亿参数）的关键推理能力转移到低资源学生模型（至多80亿参数）上。这种方法利用问题分解来提高可解释性并促进人工参与干预。在GSM8K和MATH数据集上的实证评估表明，学生模型在GSM8K上的准确性提高了高达113%，在MATH上的准确性提高了21%，特别是对于较小的模型如Llama 2和Zephyr，显示出显著改进。我们的结果表明，开源低资源模型最终既作为学生模型又作为教师模型的可能性是有希望的路径，这可能减少我们对高资源专有模型的依赖。