arXiv:2504.16005v1 交叉公告类型 摘要：大型语言模型（LLMs）通过仅通过提示的引导便解决了广泛的任务，从而彻底改变了自然语言处理。然而，它们的表现对其提示的制定高度敏感。虽然自动化提示优化通过寻找最优提示来解决这一挑战，但当前的方法需要大量的LLM调用和输入令牌，使得提示优化成本高昂。我们引入了CAPO（成本感知提示优化）算法，通过结合自适应机器学习技术来提高提示优化的效率。CAPO是一种进化方法，使用LLM作为操作员，将竞赛纳入其中以节省评估次数，并通过多目标优化平衡性能与提示长度。它联合优化指令和少量样本示例，同时利用任务描述以提高鲁棒性。我们针对各种数据集和LLM进行的广泛实验表明，在15个案例中有11个案例中，CAPO在性能上超越了最先进的离散提示优化方法，改进幅度最高达21%。即使在较小的预算下，我们的算法也已经表现出更好的性能，通过竞赛节省了评估次数，并通过长度惩罚减少了平均提示长度，使其既经济高效又具备成本意识。即使没有少量样本示例，CAPO也超越了竞争对手，并且通常对初始提示具有鲁棒性。CAPO代表了使提示优化更加强大和普及的重要一步，通过提高成本效率来实现这一点。