arXiv:2505.09666v1 交叉类型: cross 摘要: 大型语言模型 (LLMs) 展现出了显著的能力，优化它们的输入提示在最大化其性能中起到了关键作用。然而，尽管LLM的提示包括任务无关的系统提示和任务相关的用户提示，现有的提示优化工作主要集中在针对单个查询或任务的特定用户提示上，而很大程度上忽略了在优化后适用于不同任务和领域系统的提示。鉴于此，我们引入了新的双层系统提示优化问题，其目标是设计出对多种用户提示具有鲁棒性且能在未见过的任务中转移的系统提示。为了解决这一问题，我们提出了一种元学习框架，通过在多个数据集上优化系统提示来实现其元学习，同时迭代更新用户提示以确保它们之间的协同作用。我们在涉及5个不同领域共14个未见过的数据集上进行了实验，结果显示我们的方法能够很好地将系统提示泛化到不同的用户提示。此外，我们的研究发现优化后的系统提示能够快速适应未见过的任务，减少了测试时用户提示的优化步骤，同时提高了性能。