arXiv:2504.13407v1 宣布类型:跨平台 摘要：基于LoRA的持续学习代表了一种利用预训练模型进行下游持续学习任务的有前途的方法。最近的研究表明，正交LoRA调优有效地减轻了遗忘现象。然而，这项工作揭示了在正交LoRA调优下，预任务的关键参数在学习后任务后仍然会显著变化。为了解决这个问题，我们直接建议在学习后任务之前，冻结Vision Transformer (ViT) 预任务中最重要的参数矩阵。此外，在正交LoRA调优的基础上，我们提出了基于QR分解的正交LoRA组合（LoRAC），这可能进一步增强我们方法的可塑性。详细的消融研究和广泛的比较表明了我们提出的方法的有效性。我们的结果表明，我们的方法在若干知名的持续学习基准测试中达到了最先进的（SOTA）性能。例如，在Split CIFAR-100数据集中，我们的方法在准确性上提高了6.35%，遗忘率降低了3.24%，优于之前的几种方法。我们的代码可在 https://github.com/learninginvision/LoRAC-IPC 获取。