arXiv:2502.00678v1 标题类型: cross 摘要：数据集污染，即评估数据集与预训练语料库重叠，会导致性能指标夸大数据表现，并削弱模型评估的可靠性。因此，量化数据集污染变得至关重要，以确保性能评估真正反映了模型在未见数据上的泛化能力，而不是依赖于记忆化的例子。为了解决这一问题，我们提出了一种名为内核发散评分（KDS）的新方法，该方法通过计算基准数据集微调前后样本嵌入的内核相似性矩阵之间的发散性来量化数据集污染。利用微调对未见过样例影响更大的洞见，KDS 提供了一种可靠的污染度量。通过在受控污染场景下的广泛实验，KDS 显示出与污染水平几乎完美的相关性，并超越了现有的基线方法。此外，我们进行了全面的消融研究，以分析关键设计选择的影响，提供对 KDS 组件及其有效性更深入的见解。这些消融研究强调了利用细粒度内核相关信息的重要性，并证实了所提出的框架在不同数据集和设置中的可靠性。