LLM2D
去中心化联邦领域泛化与风格共享:正式建模与收敛性分析
Decentralized Federated Domain Generalization with Style Sharing: A Formal Modeling and Convergence Analysis
作者: Shahryar Zehtabi, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.06235v1

摘要

arXiv:2504.06235v1 类型: cross 摘要:许多联邦学习(FL)文献集中在训练时间和测试时间本地数据集统计保持不变的设置上。最近在领域泛化(DG)方面的进展旨在使用来源(训练)域的数据来训练一个能够很好地泛化到未见过的目标(测试)域数据的模型。在这篇论文中,我们受到现有FL和DG工作中两个主要缺陷的启发:(1)缺乏对DG目标和训练过程的正式数学分析;以及(2)在FL中的DG研究仅限于传统的星形拓扑结构。为了解决第二个缺陷,我们开发了《基于风格共享的去中心化联邦领域泛化》($\texttt{StyleDDG}$),这是一个完全去中心化的DG算法,旨在允许P2P网络中的设备基于其数据集推断出的风格信息实现DG。此外,为了填补第一个缺陷,我们提供了一种系统的方法来对基于风格的DG训练优化进行数学分析。我们将现有的集中式DG算法纳入我们的框架中,并使用它们的形式化方法来建模$\texttt{StyleDDG}$。基于此,我们获得了$\texttt{StyleDDG}$能够取得次线性收敛速率的分析条件。通过在两个流行的DG数据集上进行实验,我们证明了与不采用风格共享的去中心化梯度方法相比,$\texttt{StyleDDG}$可以在目标域中获得显著的准确性提升,同时增加了最小的通信开销。