LLM2D
去中心化的联邦领域泛化与风格共享:形式建模与收敛性分析
Decentralized Federated Domain Generalization with Style Sharing: A Formal Modeling and Convergence Analysis
作者: Shahryar Zehtabi, Dong-Jun Han, Seyyedali Hosseinalipour, Christopher G. Brinton
发布日期: 4/18/2025
arXiv ID: oai:arXiv.org:2504.06235v2

摘要

arXiv:2504.06235v2 宣告类型: replace-cross 摘要: federated learning (FL) 文献大多集中在本地数据集统计在训练时间和测试时间保持不变的情况。近期在领域泛化 (DG) 方面的进步旨在利用源 (训练) 领域的数据来训练一个在未见过的目标 (测试) 领域泛化表现良好的模型。在本文中,我们关注现有的 FL 和 DG 工作中的两个主要缺口:(1)缺乏对 DG 目标和训练过程的正式数学分析;(2)在 FL 中进行 DG 研究局限于传统的星型拓扑架构。为了填补第二个缺口,我们开发了《基于风格共享的去中心化联邦领域泛化》($\texttt{StyleDDG}$),这是一种完全去中心化的 DG 算法,旨在允许 peer-to-peer 网络中的设备通过分享从其数据集中推断出的风格信息来实现基于风格的领域泛化。此外,我们填补了第一个缺口,提供了首个系统的方法来对基于风格的 DG 训练优化进行数学分析。我们将现有的集中式 DG 算法纳入我们的框架,并使用它们的形式化方法来建模 $\texttt{StyleDDG}$。基于此,我们得到了在何种条件下可以实现 $\texttt{StyleDDG}$ 的次线性收敛速率的分析条件。通过在两个流行的 DG 数据集上的实验,我们证明了与不采用风格共享的去中心化梯度方法相比,$\texttt{StyleDDG}$ 在目标领域上可以实现显著的准确性改进,且通信开销仅略有增加。