LLM2D
稳健的空中联邦学习:利用中值锚定剪裁对抗重尾噪声
Robust Federated Learning Over the Air: Combating Heavy-Tailed Noise with Median Anchored Clipping
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.15100v1

摘要

利用空中计算进行模型聚合是应对联邦边缘学习中通信瓶颈的有效方法。通过利用多接入信道的叠加特性,这种方法促进了通信和计算的集成设计,从而在降低实施成本的同时增强了系统隐私。然而,无线信道中的固有电磁干扰通常表现出重尾分布,导致全局聚合梯度中出现异常强的噪声,这会显著降低训练性能。为了解决这一问题,我们提出了一种新的梯度裁剪方法,称为中值锚定裁剪(Median Anchored Clipping, MAC),以对抗重尾噪声的有害影响。我们还推导了在MAC下模拟空中联邦学习的模型训练收敛率的解析表达式,定量展示了MAC对训练性能的影响。广泛的实验结果表明,所提出的MAC算法有效地减轻了重尾噪声的影响,从而显著增强了系统的鲁棒性。