大型语言模型 (LLM) 在自然语言处理方面展现出非凡的能力，但在学习新任务时面临灾难性遗忘问题，其中适应新领域会导致先前任务的性能大幅下降。本文提出了一种基于 LoRA 结构的子空间正则化方法——受控 LoRA (CLoRA)。CLoRA 旨在在对模型容量施加最小约束的同时减少输出变化的规模，它对更新矩阵零空间的方向施加约束。在常用 LLM 微调任务上的实验结果表明，CLoRA 在域内和域外评估中均显著优于现有的 LoRA 后续方法，突出了 CLoRA 作为一种有效的参数高效微调方法以及缓解灾难性遗忘的优越性。对模型参数的进一步研究表明，CLoRA 有效地平衡了模型容量和遗忘程度之间的权衡。