摘要
arXiv:2503.06457v2 通知类型: 替换-交叉
摘要: 在联邦学习中,数据异质性的特征是本地分布与全局分布之间有显著的不匹配,这导致了本地优化方向的发散,并妨碍了全局模型的训练。现有研究主要关注于优化局部更新或全局聚合,但这些间接方法在处理高度异质的数据分布时表现出不稳定性,尤其是在标签偏斜和领域偏斜共存的情况下。为了解决这个问题,我们提出了一种基于几何指导的数据生成方法,该方法以在本地模拟全局嵌入分布为中心。首先,我们引入了嵌入分布几何形状的概念,然后在隐私约束下解决了获得全局几何形状的挑战。随后,我们提出了GGEUR方法,该方法利用全局几何形状来指导新样本的生成,从而更接近理想全局分布。在单领域场景中,我们根据全局几何形状增强样本以提高模型的泛化能力;在多领域场景中,我们进一步使用类别原型来模拟跨领域的全局分布。广泛的实验结果表明,我们的方法在处理高度异质数据,包括标签偏斜、领域偏斜及其共存情况下,显着提升了现有方法的性能。代码发布在: https://github.com/WeiDai-David/2025CVPR_GGEUR