大型语言模型 (LLM) 的最新进展引发了人们对推理成本的担忧，这使得模型压缩研究的需求日益增长。虽然知识蒸馏 (KD) 是解决这一问题的常用方法，但针对像 LLM 这样的生成式语言模型的 KD 研究相对较少，而蒸馏对学生友好的知识（这种方法在分类模型的 KD 中表现出良好的性能）在生成式语言模型中尚未得到探索。为了探索这种方法，我们提出了 PromptKD，这是一种简单而有效的方法，它首次在 KD 中利用提示微调，使生成式语言模型能够传递对学生友好的知识。与之前在分类中需要对整个教师模型进行微调以提取对学生友好的知识的工作不同，PromptKD 通过添加少量提示标记并仅在学生指导下对提示进行微调，就能实现类似的效果。在指令遵循数据集上的大量实验表明，PromptKD 实现了最先进的性能，同时仅添加了教师参数的 0.0007% 作为提示。进一步的分析表明，蒸馏对学生友好的知识有效地缓解了整个训练过程中的暴露偏差，从而提高了性能。