arXiv:2411.15927v2 宣告类型: replace-cross 摘要：最近基于大型语言模型的应用中使用的提示往往是固定的且篇幅较长，导致显著的计算开销。为了解决这一挑战，我们提出了一种轻量级的方法生成提示内化（GenPI），该方法采用联合训练方法。GenPI 不仅复制了具有提示输入的模型的行为，还生成了提示的内容以及模型行为为何需要相应变化的原因。我们证明了我们的方法在各种基于代理的应用场景中有效地内化了复杂提示。为了在不与专用环境进行交互的情况下进行有效的训练，我们引入了一种数据合成技术，该技术通过交换代理和环境的角色来自行收集对话数据集。该方法在仅提供预定义提示而没有相应训练数据集的情况下尤其有用。通过内化复杂提示，生成提示内化使高性能和高效推理成为可能，而无需显式的提示。