摘要
利用上下文学习(ICL)的大型语言模型(LLM)在各种任务中的少样本学习中设定了新的基准,无需针对特定任务进行微调。然而,大量研究表明,ICL 的有效性受演示的选择和排序的影响很大。考虑到演示选择在 ICL 中的关键作用,我们引入了受数据 Shapley 估值定理启发的 DemoShapley。这种方法评估了单个演示实例的影响,区分了那些对性能有积极贡献的实例和那些可能阻碍性能的实例。我们的研究结果表明,DemoShapley 不仅提高了模型在准确性和公平性方面的性能,而且还将查询从与上下文演示不同的领域推广,突出了其在优化 ICL 演示选择方面的多功能性和有效性。最后但并非最不重要的一点是,DemoShapley 表明它能够帮助识别演示集中存在的噪声数据。