LLM2D
抗重尾噪声的鲁棒型无线联邦学习:基于中值锚定的裁剪方法
Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
作者: Jiaxing Li, Zihan Chen, Kai Fong Ernest Chong, Bikramjit Das, Tony Q. S. Quek, Howard H. Yang
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2409.15100v2

摘要

利用无线通信进行模型聚合是解决联邦边缘学习中通信瓶颈的有效方法。通过利用多址信道的叠加特性,这种方法促进了通信和计算的集成设计,从而增强系统隐私并降低实现成本。然而,无线信道中固有的电磁干扰通常表现出重尾分布,导致全局聚合梯度中出现异常强的噪声,这会显著降低训练性能。为了解决这个问题,我们提出了一种新颖的梯度裁剪方法,称为中值锚定裁剪 (MAC),以对抗重尾噪声的有害影响。我们还推导了在 MAC 下模拟无线联邦学习模型训练的收敛速度的解析表达式,定量地证明了 MAC 对训练性能的影响。大量的实验结果表明,提出的 MAC 算法有效地减轻了重尾噪声的影响,从而大大增强了系统的鲁棒性。