arXiv:2502.01755v2 宣告类型: 替换交叉 摘要：参数高效微调（PEFT）方法如低秩适应（LoRA）通过减少计算和通信成本来优化联邦训练。我们提出了RoLoRA，这是一种使用交替优化的联邦框架，用于微调LoRA适配器。我们的方法强调了学习上投影和下投影矩阵的重要性，以增强表达能力和可靠性。我们使用理论分析和大量的实验证明RoLoRA相比之前的方法的优势，之前的方法要么生成不完美的模型更新，要么限制模型的表达能力。我们通过简化线性模型的理论分析，证明了在LoRA中学习下投影矩阵和上投影矩阵的重要性。我们还在MNIST上的小神经网络以及RoBERTa-Large、Llama-2-7B等大型语言模型上进行了广泛的实验，以多样化任务的形式，证明了RoLoRA相对于其他方法的优势。