arXiv:2502.00330v1 类型: cross 摘要: 近年来，在长上下文大语言模型（LLMs）方面的进展导致了多种示例上下文学习（ICL）中的新兴范式，观察到在常规的少量示例设置之外，扩展更多的演示示例可以带来性能提升。然而，尽管具有这种潜力，仍不清楚哪些方面主导了这些好处，以及是否简单地扩展到更多的示例是提高多种示例ICL最有效的方法。在这项工作中，我们首先对驱动多种示例ICL的因素进行了分析，并发现1）多种示例性能仍然可以归因于少数几个异常重要的示例，2）识别这样的重要示例（"优化"）并使用它们生成新的示例（"生成"）可以带来进一步的改进。受到这些发现的启发，我们提出了一种BRIDGE算法，该算法交替进行使用贝叶斯优化进行"优化"步骤以发现具有影响力的示例集和"生成"步骤以重新利用此集自动扩展示例的推理路径，回到多种示例范式。在不同规模的Gemini、Claude和Mistral大语言模型上，我们在符号推理、数值推理和代码生成等多样化的任务中展示了BRIDGE的显著改进。