arXiv:2409.12371v1 公告类型: 交叉 摘要: 联邦学习（Federated Learning, FL）面临通信效率和异质性的重大挑战。为了解决这些问题，我们探讨了使用低秩更新的潜力。我们的理论分析表明，客户端的损失表现出比服务器损失更高的秩结构（梯度跨越海森矩阵的更高秩子空间）。基于这一见解，我们假设将客户端优化约束在低秩子空间中可以提供隐式的正则化效果。因此，我们提出了FedLoRU，一种通用的联邦学习低秩更新框架。我们的框架强制执行低秩客户端更新，并将这些更新累积以形成更高秩的模型。此外，FedLoRU的变体可以通过采用多重或分层低秩更新来适应具有统计和模型异质性的环境。实验结果表明，FedLoRU在性能上与全秩算法相当，并且对异质性和大量客户端表现出鲁棒性。