LLM2D
FedStein:利用詹姆斯-斯坦估计器增强多领域联邦学习
FedStein: Enhancing Multi-Domain Federated Learning Through James-Stein Estimator
作者: Sunny Gupta, Nikita Jangid, Amit Sethi
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03499v1

摘要

联邦学习 (FL) 通过允许分散的客户端进行协作的现场训练来促进数据隐私。尽管它具有内在优势,但 FL 在处理非独立同分布 (non-i.i.d.) 数据时面临着性能和收敛的重大挑战。虽然以前的研究主要解决了客户端之间标签分布倾斜的问题,但本研究重点关注了多域 FL 的一个鲜为人知的挑战,即客户端数据源自具有不同特征分布的不同领域。我们提出了一种旨在解决这些挑战的新方法 FedStein:通过 James-Stein 估计器增强多域联邦学习。FedStein 独特地仅在客户端之间共享批归一化 (BN) 统计数据的 James-Stein (JS) 估计值,同时保留本地 BN 参数。非 BN 层参数通过标准 FL 技术进行交换。在三个数据集和多个模型上进行的大量实验表明,FedStein 超越了 FedAvg 和 FedBN 等现有方法,在某些领域精度提高超过 14%,从而增强了域泛化能力。代码可在 https://github.com/sunnyinAI/FedStein 获取。