LLM2D
超越局部锐度:联邦学习中面向全局锐度的通信高效最小化方法
Beyond Local Sharpness: Communication-Efficient Global Sharpness-aware Minimization for Federated Learning
作者: Debora Caldarola, Pietro Cagnasso, Barbara Caputo, Marco Ciccone
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2412.03752v2

摘要

arXiv:2412.03752v2 宣告类型: 替换 摘要: 联邦学习(FL)能够在保护隐私的同时实现协作模型训练。边缘设备(客户端)之间的数据异质性可能导致模型收敛到尖锐的极小值,这会对泛化能力和鲁棒性产生负面影响。最近的方法使用客户端尖锐感知最小化(SAM)来鼓励更平坦的极小值,但局部和全局损失景观之间的差异往往会削弱其有效性,因为优化局部尖锐性并不保证全局平坦性。本文提出了一种名为 FedGloSS(联邦全局服务器端尖锐性)的新颖联邦学习方法,该方法在服务器端优先优化全局尖锐性,使用 SAM 实现。为了减少通信开销,FedGloSS 聪明地使用之前的全局梯度近似尖锐性,从而消除额外客户端通信的需要。我们的广泛评估表明,FedGloSS 在各种联邦视觉基准测试中始终能够达到更平坦的极小值和更好的性能,优于现有最先进的联邦学习方法。