LLM2D
离群梯度分析:高效识别深度学习模型的有害训练样本
Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models
作者: Anshuman Chhabra, Bo Li, Jian Chen, Prasant Mohapatra, Hongfu Liu
发布日期: 10/2/2024
arXiv ID: oai:arXiv.org:2405.03869v4

摘要

数据中心学习的核心挑战之一在于识别对模型性能有害的训练样本。影响函数是解决这一问题的常用工具,为评估训练数据对模型预测的影响提供了稳健的框架。尽管影响函数被广泛应用,但其计算成本高昂,需要计算海森矩阵的逆,这在分析大型深度模型时尤其具有挑战性。本文建立了通过影响函数识别有害训练样本与异常梯度检测之间的桥梁。这种转换不仅提供了一种简单且无需海森矩阵的公式,而且还揭示了梯度在样本影响中的作用。通过系统的实证评估,我们首先在合成数据集上验证了我们提出的异常梯度分析方法的假设。然后,我们证明了该方法在视觉模型中检测错误标记样本和选择数据样本以提高自然语言处理 Transformer 模型性能方面的有效性。我们还将其扩展到用于微调大型语言模型的影响样本识别。