arXiv:2504.07097v1 宣告类型: cross 摘要: 在大规模语言模型（LLMs）中连续学习容易发生灾难性遗忘，即适应新任务会显著降低之前学习任务的表现。现有方法通常依赖于低秩、参数高效的更新，这限制了模型的表达能力，并为每个任务引入了额外的参数，导致可扩展性问题。为了解决这些限制，我们提出了一种新的连续全微调方法，利用自适应奇异值分解（SVD）。我们的方法动态地识别任务特定的低秩参数子空间，并约束更新与先前任务相关的关键方向正交，从而有效减少干扰，而不增加额外的参数开销或存储先前任务的梯度。我们使用编码器-解码器（T5-Large）和仅解码器（LLaMA-2 7B）模型在标准连续学习基准上广泛评估了我们的方法，这些任务包括分类、生成和推理。实验结果表明，我们的方法达到了最先进的效果，平均准确率比最近的基线方法如O-LoRA高出7%，并且在整个连续学习过程中，我们的方法有效地减少了遗忘，几乎可以忽略不计，从而保持了模型的通用语言能力、指令跟随准确性和安全性。我们的自适应SVD框架有效地平衡了模型的可塑性和知识的保留，为大规模语言模型中的连续学习场景提供了一种实用、理论支持且计算上可扩展的解决方案。