摘要
在个性化联邦学习 (pFL) 中,高度的数据异质性会导致设备间显著的梯度差异,从而对学习过程产生不利影响。这种差异,特别是在不同用户梯度在聚合过程中形成钝角时,会抵消学习进度,导致权重和梯度更新严重退化。为了解决这个问题,我们引入了一种新的 pFL 设计方法,即基于梯度分析的分层聚合联邦学习 (FedLAG),利用了层级梯度冲突的概念。具体来说,当不同客户端的层级梯度形成锐角时,这些梯度在相同方向上对齐,使不同客户端能够朝着识别客户端不变特征的方向进行更新。相反,当层级梯度对形成钝角时,这些层往往专注于特定客户端的任务。从后视的角度来看,FedLAG 根据层级梯度冲突的程度来分配用于个性化的层。具体来说,具有梯度冲突的层被排除在全局聚合过程之外。理论评估表明,当集成到其他 pFL 基线中时,FedLAG 可以提高 pFL 性能。因此,我们提出的方法比其他基线实现了更好的收敛行为。大量的实验表明,我们的 FedLAG 优于几种最先进的方法,并且可以轻松地与许多现有方法集成,以进一步提高性能。