LLM2D
FedCCRL:基于跨客户端表征学习的联邦域泛化
FedCCRL: Federated Domain Generalization with Cross-Client Representation Learning
作者: Xinpeng Wang, Yongxin Guo, Xiaoying Tang
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2410.11267v4

摘要

领域泛化 (DG) 旨在训练能够有效泛化到未见领域的模型。然而,在联邦学习 (FL) 的背景下,客户端协作训练模型而无需直接共享其数据,大多数现有的 DG 算法由于隐私限制以及每个客户端有限的数据量和领域多样性而无法直接应用于 FL 设置。为了应对这些挑战,我们提出了 FedCCRL,这是一种轻量级的联邦领域泛化方法,它在保护隐私并确保计算和通信效率的同时,显著提高了模型的泛化能力。具体而言,FedCCRL 包含两个主要模块:第一个是跨客户端特征扩展模块,它通过跨客户端领域迁移和领域不变特征扰动来增加局部领域多样性;第二个是表示和预测双阶段对齐模块,它使模型能够有效地捕获领域不变特征。大量的实验结果表明,FedCCRL 在 PACS、OfficeHome 和 miniDomainNet 数据集上,在不同客户端数量的 FL 设置下都取得了最先进的性能。代码可在 https://github.com/sanphouwang/fedccrl 获取。