LLM2D
基于加性和低秩分解的联邦学习中通用知识与个性化知识解耦
Decoupling General and Personalized Knowledge in Federated Learning via Additive and Low-Rank Decomposition
作者: Xinghao Wu, Xuefeng Liu, Jianwei Niu, Haolin Wang, Shaojie Tang, Guogang Zhu, Hao Su
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2406.19931v2

摘要

为了解决数据异质性问题,个性化联邦学习 (PFL) 的关键策略是将通用知识(在客户端之间共享)和客户端特定知识解耦,因为后者如果没有被移除,可能会对协作产生负面影响。现有的 PFL 方法主要采用参数划分方法,其中模型的参数被指定为两种类型之一:与其他客户端共享的参数,用于提取通用知识;以及本地保留的参数,用于学习客户端特定知识。然而,由于这两种类型的参数在训练过程中像拼图一样拼凑成一个模型,因此每个参数可能会同时吸收通用知识和客户端特定知识,从而难以有效地分离这两种类型的知识。在本文中,我们介绍了 FedDecomp,一种简单但有效的 PFL 范式,它采用参数加性分解来解决这个问题。FedDecomp 并没有将模型的每个参数指定为共享或个性化的,而是将每个参数分解为两个参数的总和:一个共享参数和一个个性化参数,与参数划分方法相比,实现了更彻底的共享和个性化知识解耦。此外,我们发现保留特定客户端的本地知识所需的模型容量远低于所有客户端的通用知识,因此我们让包含个性化参数的矩阵在训练过程中保持低秩。此外,还提出了一种新的交替训练策略,以进一步提高性能。在多个数据集和不同程度的数据异质性上的实验结果表明,FedDecomp 的性能优于最先进的方法,最高可达 4.9%。代码可在 https://github.com/XinghaoWu/FedDecomp 获取。