arXiv:2501.15030v2 宣告类型: replace-cross 摘要：在他们的应用程序中使用大语言模型（LLM）和基于LLM的代理的开发者提供了大量 anecdotal 证据，表明上下文学习（ICL）是脆弱的。在本文中，我们表明，除了 ICL 中使用的示例的数量和质量之外，prompt 中列出的 ICL 示例的顺序也会影响 LLM 的输出，并且相应地影响其性能。尽管以往的工作探索了通过数据集依赖的方法来改进 ICL，但我们提出了一个数据集无关的纯推理时优化方法 OptiSeq，该方法高效地确定了最佳的示例顺序。OptiSeq 利用 LLM 生成输出的对数概率来系统地修剪可能顺序的搜索空间，并通过区分产生高准确度的顺序和表现不佳的顺序来推荐最佳顺序。在多个 LLM、数据集和 prompt 上的广泛实证评估表明，OptiSeq 在多个任务中提高了 5.5 到 10.5 个百分点的准确性。