LLM2D
GradMix:基于梯度的选择性Mixup方法以增强类增量学习中的数据增强
GradMix: Gradient-based Selective Mixup for Robust Data Augmentation in Class-Incremental Learning
作者: Minsu Kim, Seong-Hyeon Hwang, Steven Euijong Whang
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.08528v1

摘要

arXiv:2505.08528v1 宣告类型: cross 摘要: 在持续学习的背景下,同时获取新的知识并保持之前的知识是一项重大挑战。现有方法通常使用经验回放技术,通过存储少量的先前任务数据来进行训练。在经验回放方法中,数据增强被认为是一种有希望的策略,通过将有限的先前任务数据与充足的当前任务数据混合来进一步提高模型性能。然而,我们从理论上和实验上分析得出,使用随机样本对的混合样本进行训练可能会损害先前任务的知识,并导致更大的灾难性遗忘。我们随后提出了一种GradMix,这是一种针对类增量学习中缓解灾难性遗忘的鲁棒数据增强方法。GradMix 使用基于类别的标准进行基于梯度的选择性 mixup 操作,仅混合有助于减少灾难性遗忘的类别对样本,而不是有害的类别对样本。在各种真实数据集上的实验结果显示,GradMix 在准确度方面优于数据增强基线,通过最小化先前知识的遗忘来实现这一目标。