本文提出了一种基于子空间的低秩自适应 (LoRA) 方法，该方法计算效率高、易于实现，并且易于应用于大型语言模型、多模态模型和扩散模型。首先，我们将 LoRA 的权重等效地分解为两个子空间，并发现简单地混合它们可以提高性能。为了研究这种现象，我们通过细粒度的子空间视角重新审视它，表明这种修改等效于使用固定混合器来融合子空间。为了更灵活，我们与原始 LoRA 权重一起学习混合器，并将该方法称为子空间混合 LoRA (MoSLoRA)。MoSLoRA 在不同模态的任务中始终优于 LoRA，包括常识推理、视觉指令微调和主题驱动的文本到图像生成，证明了其有效性和鲁棒性。代码可在 https://github.com/wutaiqiang/MoSLoRA 获取。