摘要
在实际场景中,联邦学习经常需要使用异构数据为每个客户端训练个性化模型。本文提出了一种主干自蒸馏方法来促进个性化联邦学习。在这种方法中,每个客户端训练其本地模型,并且只将主干权重发送到服务器。然后将这些权重聚合以创建全局主干,并将其返回到每个客户端以进行更新。然而,由于共同表示,客户端的本地主干缺乏个性化。为了解决这个问题,每个客户端通过使用全局主干作为教师并将知识转移到更新本地主干来进一步执行主干自蒸馏。这个过程涉及学习两个部分:用于共同表示的共享主干和用于本地个性化的私有头,这使得有效的全局知识转移成为可能。大量的实验和与 12 种最先进方法的比较证明了我们方法的有效性。