arXiv:2503.18985v1 宣告类型: 横向 摘要: 在持续学习（CL）中，由于特征漂移常常导致灾难性遗忘。这一挑战在无示例持续学习（EFCL）设置中尤为突出，因为在该设置中无法保留先前任务的样本，使得保留先前的知识变得困难。为了解决这一问题，一些EFCL方法旨在识别可以最小化对先前任务影响的同时容纳新任务的特征空间。然而，这些方法依赖于静态特征或从旧任务中过时的统计数据储存，这阻碍了它们捕捉CL中特征空间的动态演变，导致随着时间推移性能下降。在本文中，我们引入了抗漂移空间（DRS），该方法有效地处理了特征漂移，无需显式建模特征或储存先前任务的数据。我们提出了一个被称为低秩适应减法（LoRA-）的新型参数高效微调方法，以开发DRS。该方法在处理新任务数据之前，从初始预训练权重中减去旧任务的LoRA权重，以建立DRS进行模型训练。因此，LoRA- 提高了稳定性，改善了效率并简化了实现。此外，稳定特征漂移允许通过三重损失学习获得更好的可塑性。我们的方法在多个数据集上的一系列任务中始终能够获得最先进的结果。