arXiv:2503.18985v2 提交类型: replace-cross 摘要: 在连续学习(CL)中，灾难性遗忘往往由于特征漂移而产生。这一挑战在示例自由连续学习(EFCL)环境中尤为突出，因为无法保留前一个任务的样本，使得保留先前知识变得困难。为了应对这一问题，某些EFCL方法试图识别那些可以减少对前一个任务影响的特征空间，同时适应新的任务。然而，这些方法依赖于静态特征或从旧任务存储的过时统计数据，这使得它们无法捕捉到CL中特征空间的动态演变，导致随着时间的推移性能下降。在这篇论文中，我们引入了抗漂移空间(DRS)，它有效地处理了特征漂移，而不需要显式地建模特征或存储前一个任务。我们提出了一种名为Low-Rank Adaptation Subtraction (LoRA-)的新颖的参数高效微调方法来构建DRS。该方法在处理新任务数据之前，从初始预训练权重中减去旧任务的LoRA权重，以建立DRS进行模型训练。因此，LoRA-增强了稳定性、提高了效率并简化了实现。此外，稳定特征漂移使学习能够更好地具有可塑性，通过使用三重损失进行学习。我们的方法在多个数据集上针对长任务序列始终取得了最先进的结果。