arXiv:2502.01755v1 宣传类型: cross 摘要: 参数高效微调(PEFT)方法如低秩适应(LoRA)通过减少计算和通信成本来优化联邦训练。我们提出了一种使用交替优化来微调LoRA适配器的联邦框架RoLoRA。我们的方法强调学习上下投影矩阵的重要性，以增强表达能力和稳健性。我们通过理论分析和广泛的实验来展示RoLoRA相较于之前方法的优势，这些方法要么生成不完美的模型更新，要么限制模型的表达能力。我们在简化线性模型上提供了理论分析，以展示在LoRA中学习下投影矩阵和上投影矩阵的重要性。我们对玩具神经网络MNIST以及大语言模型如RoBERTa-Large和Llama-2-7B在多样化的任务中进行了广泛的实验评估，以展示RoLoRA相较于其他方法的优势。