大型语言模型 (LLM) 应用中使用的提示词通常是固定且冗长的，导致显著的计算开销。为了解决这一挑战，我们提出了一种轻量级的提示词内化方法——生成式上下文蒸馏 (GCD)，该方法采用联合训练方法。这种方法不仅能够复制带有提示词输入的模型的行为，还能生成提示词的内容以及模型行为应该相应改变的原因。我们证明了我们的方法能够有效地将复杂提示词内化到各种基于智能体的应用场景中。为了在无需与专用环境交互的情况下进行有效训练，我们引入了一种数据合成技术，该技术通过交换智能体和环境的角色来自动收集对话数据集。这种方法在只有预定义提示词而没有相应训练数据集的情况下尤其有用。通过内化复杂的提示词，生成式上下文蒸馏能够实现高性能和高效的推理，而无需显式提示词。