arXiv:2409.05701v3 通知类型: replace-cross 摘要：联邦学习（FL）提供了一种分散化的方法来进行模型训练，在这种方法中，数据保持本地化，只有模型参数在客户端和中央服务器之间共享。传统方法，如联邦平均（FedAvg），通常会对模型参数进行线性聚合，这些参数通常是在异质化数据分布上训练的，这可能会忽略参数空间的复杂性和高维度特性。这可能导致聚合模型性能下降。虽然个性化联邦学习方法可以在一定程度上缓解数据异质性的问题，但线性聚合的局限性仍然存在。为了缓解这一问题，我们研究了扩散模型的生成方法，并提出了一种新颖的生成参数聚合框架，以用于个性化联邦学习，名为\texttt{pFedGPA}。在这一框架中，我们在服务器上部署了一个扩散模型，以整合多样化的参数分布，并提出了一种参数反转方法，以高效地为每个客户端生成一组个性化参数。该反转方法将上传的参数转换为潜在代码，然后通过去噪采样进行聚合，从而生成最终的个性化参数。通过使用高容量扩散模型编码客户端模型参数对其特定数据分布的依赖性，\texttt{pFedGPA}能够有效地从所有客户端模型参数的总体分布的复杂性中解耦出每个单独客户端参数分布的复杂性。我们的实验结果一致地证明了所提出方法在多个数据集上的优越性能，超越了基准方法。