摘要
arXiv:2502.03231v1 宣告类型: cross
摘要:在联邦学习(FL)中,模型聚合是一个关键步骤,通过该步骤,多个客户端可以与彼此共享其知识。然而,人们也普遍认识到,当聚合后的模型被返回给每个客户端时,在多次本地训练之后,其在本地数据上的表现才会变得较好。这种暂时性的性能下降可能会影响FL模型的收敛速度。大多数关于FL的研究将这种性能下降视为客户端之间知识共享的固有成本,并不对其进行特别关注。尽管有些研究直接致力于设计缓解该问题的技术,但对于这种性能下降背后的原因的深入调查尚未开展。为了弥补这一缺口,我们对不同数据集和模型架构下的模型聚合进行了逐层分析。我们的研究发现,性能下降可以归因于聚合过程中发生的两大后果:(1)它破坏了深度神经网络(DNNs)中的特征变异抑制,(2)它减弱了特征与后续参数之间的耦合。基于这些发现,我们提出了一系列简单有效的策略,可以在保持模型聚合带来的益处的同时减轻其负面影响。据我们所知,我们的工作是首次对模型聚合进行逐层分析,可能为开发更有效的FL算法开辟了途径。