为了使训练良好的大型模型适应下游任务，我们提出了一种方法，通过利用其原始潜在空间的基向量线性组合来约束学习过程。这种方法确保了稳定的训练，同时不会影响模型的能力。传统上，从矩阵构建正交基需要转移矩阵，这会显著增加参数和特征图的存储和计算开销。在本文中，我们针对Q、K、V和O矩阵引入了吸收和分解方法，使得无需转移矩阵即可实现它们的正交化。此外，吸收分解操作消除了冗余向量，在无需额外训练的情况下，将Whisper-large-v3的编码器注意力参数减少了46.42%。为了实现参数高效且稳定的微调，我们对Q、K、V和O进行了正交化，并且只对奇异值进行了微调，从而在将变化限制在原始潜在空间的同时实现了高效的自适应。当在八个常识推理数据集上对LLaMA-2-7B进行微调时，我们的方法比LoRA提高了5.4%，比DoRA提高了4.4%。