arXiv:2504.20355v1 类型: cross 摘要：近年来，使用提示来引导大型语言模型的输出增加了许多。然而，即使是经验丰富的专家也发现挑选合适的词语来构建适合所需任务的提示非常困难。为了解决这个问题，LLM 驱动的提示优化成为了一个重要的问题。现有的提示优化方法在全球范围内优化提示，这意味着在完成复杂任务时，所有提示令牌都需要在大规模词汇表中进行优化。庞大的优化空间（令牌）导致对更好提示的指导不足。在这项工作中，我们引入了局部提示优化（LPO），并与任何通用自动提示工程方法集成。我们识别提示中的优化令牌，并在优化步骤中引导LLM仅关注这些令牌。我们在多种自动提示工程方法下的数学推理（GSM8k 和 MultiArith）和 BIG-bench Hard 基准测试中观察到显著的性能提升。此外，我们展示了LPO比全球方法更快地收敛到最优提示。