arXiv:2504.18437v1 提交类型: cross 摘要: 类增量学习(CIL)是现实世界应用中的一个关键能力，使学习系统能够在适应新任务的同时保留先前知识。最近预训练模型(PTM)的进步显著推动了CIL领域的发展，显示出在传统方法上更优越的性能。然而，如何理解特征在增量任务中的演变和分布仍是一个开放的挑战。在本文中，我们提出了一种通过神经坍缩(NC)的新颖方法来建模基于PTM的CIL中的特征演变，神经坍缩是一种在训练后期观察到的引人注目的现象，导致特征空间充分分离且等角。我们探讨了NC与CIL有效性之间的联系，表明将特征分布与NC几何结构对齐可以增强捕捉连续学习动态行为的能力。基于这一见解，我们引入了神经坍缩启发式的基于PTM的CIL(NCPTM-CIL)方法，该方法动态调整特征空间以符合优美的NC结构，从而增强连续学习过程。广泛的实验表明，NCPTM-CIL在四个基准数据集上优于最先进的方法。值得注意的是，在使用ViT-B/16-IN1K初始化时，NCPTM-CIL在VTAB上的表现超过第二名方法6.73%，在CIFAR-100上的表现超过2.5%，在泛化基准上超过1.25%。