LLM2D
几何知识引导下的局部全局分布对齐联邦学习
Geometric Knowledge-Guided Localized Global Distribution Alignment for Federated Learning
作者: Yanbiao Ma, Wei Dai, Wenke Huang, Jiayi Chen
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2503.06457v2

摘要

arXiv:2503.06457v2 通知类型: 替换-交叉 摘要: 在联邦学习中,数据异质性的特征是本地分布与全局分布之间有显著的不匹配,这导致了本地优化方向的发散,并妨碍了全局模型的训练。现有研究主要关注于优化局部更新或全局聚合,但这些间接方法在处理高度异质的数据分布时表现出不稳定性,尤其是在标签偏斜和领域偏斜共存的情况下。为了解决这个问题,我们提出了一种基于几何指导的数据生成方法,该方法以在本地模拟全局嵌入分布为中心。首先,我们引入了嵌入分布几何形状的概念,然后在隐私约束下解决了获得全局几何形状的挑战。随后,我们提出了GGEUR方法,该方法利用全局几何形状来指导新样本的生成,从而更接近理想全局分布。在单领域场景中,我们根据全局几何形状增强样本以提高模型的泛化能力;在多领域场景中,我们进一步使用类别原型来模拟跨领域的全局分布。广泛的实验结果表明,我们的方法在处理高度异质数据,包括标签偏斜、领域偏斜及其共存情况下,显着提升了现有方法的性能。代码发布在: https://github.com/WeiDai-David/2025CVPR_GGEUR