arXiv:2502.01755v1 交叉公告类型 摘要：参数高效微调（PEFT）方法如LoRA低秩适应通过减少计算和通信成本来优化联邦训练。我们提出了RoLoRA，这是一种使用交替优化来微调LoRA适配器的联邦框架。我们的方法强调了学习上投影和下投影矩阵的重要性，以增强表达能力和鲁棒性。我们通过理论分析和大量的实验展示了RoLoRA相较于其他方法的优势，这些方法要么生成不完美的模型更新，要么限制模型的表达能力。我们通过对简化线性模型的理论分析展示了在LoRA中学习下投影和上投影矩阵的重要性。我们还在MNIST上的小型神经网络和罗伯塔-大型、Llama-2-7B等大型语言模型上进行了广泛的实验评估，展示了RoLoRA相较于其他方法的优势。