LLM2D
基于双投影和分类器重构的示例-free类别增量学习中的语义漂移估计
Semantic Shift Estimation via Dual-Projection and Classifier Reconstruction for Exemplar-Free Class-Incremental Learning
作者: Run He, Di Fang, Yicheng Xu, Yawen Cui, Ming Li, Cen Chen, Ziqian Zeng, Huiping Zhuang
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2503.05423v3

摘要

arXiv:2503.05423v3 公告类型: replace-cross 摘要: 无范例类增量学习(EFCIL)旨在不保留范例的情况下顺序学习不同的类别,但容易遭受灾难性遗忘的问题。尽管现有的EFCIL方法利用知识蒸馏来减轻遗忘,它们仍然面临两个关键挑战:语义偏移和决策偏见。具体来说,学习新任务后,旧任务的嵌入在嵌入空间中发生了偏移,且由于仅使用新数据进行训练,分类器被偏向前向的任务,从而破坏了旧知识与新知识之间的平衡。为了解决这些问题,我们提出了一种用于EFCIL的双投影偏移估计和分类器重构(DPCR)方法。DPCR有效地通过双投影来估计语义偏移,该方法结合了一个可学习的变换与行空间投影,以捕获任务层面和类别层面的偏移。此外,为了减轻决策偏见,DPCR采用岭回归来重新构建分类器重构过程。该重构过程利用校准后每个类别的协方差和原型,从而减少了决策偏见。广泛的实验表明,在各种数据集上,DPCR有效平衡了旧任务和新任务,并优于最先进的EFCIL方法。我们的代码可在 https://github.com/RHe502/ICML25-DPCR 获取。