LLM2D
懒但有效:具有异质数据的协作个性化联邦学习
Lazy But Effective: Collaborative Personalized Federated Learning with Heterogeneous Data
作者: Ljubomir Rokvic, Panayiotis Danassis, Boi Faltings
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.02540v1

摘要

arXiv:2505.02540v1 Announce Type: cross 摘要:在联邦学习中,客户端数据分布的异质性往往意味着单一全局模型并不适合个别客户端。例如,在为键盘训练下一个词预测模型时:由于人口统计学(方言、年龄等)、语言熟练度和写作风格,用户特定的语言模式会导致客户端间具有高度非IID的数据集。其他示例包括在不同机器上获取的医学影像,或不同车辆类型的驾驶数据。为了解决这个问题,我们提出了一种简单而有效的个性化联邦学习框架(pFedLIA),该框架在模型聚合之前利用一种计算效率高的影响近似方法,称为“惰性影响”,以分布式方式对客户端进行聚类。在每个聚类内,数据所有者合作共同训练一个能够捕捉客户端特定数据模式的模型。我们的方法在各种合成和真实世界设置中被证明能够成功地补回由于数据分布非IID带来的全局模型性能下降,特别是在北欧语言的下一个词预测任务以及多个基准任务中。该方法的性能与理想的Oracle聚类相当,并且明显优于现有基线,例如在CIFAR100上的性能改进达到了17%。