arXiv:2404.11888v2 宣告类型: replace-cross 摘要：联邦学习（FL）因其隐私保护的特性，在多种应用中具有巨大的潜力。然而，FL 的收敛性常常受到非IID 数据分布的挑战，这限制了其在实际部署中的有效性。现有的方法通过基于优化的客户端约束、自适应客户端选择或使用预训练模型或合成数据来解决这些挑战。在本文中，我们将这些方法重新解释为都引入了一个“隐式引导任务”来正则化和引导客户端学习。基于这一洞察，我们提出将一个“显式的全局引导任务”引入当前的FL框架中，以提高收敛性和性能。为此，我们提出了FedEGG，这是一种新的FL算法，使用基于公共数据集和大型语言模型（LLMs）定义的一个易于收敛的明确学习任务来构建全局引导任务。这种方法有效地结合了联邦学习（原始FL任务）和集中学习（全局引导任务）的优点。我们对FedEGG的收敛性进行了理论分析，探讨了引导任务和FL任务之间数据异质性的影响以及引导强度的影响。我们的分析推导出最优引导强度的上界，为实施提供了实际的见解。实验中，FedEGG在IID和非IID设置下均表现出优于最先进的FL方法的性能，并且在结合使用时进一步提高了其性能。