摘要
去中心化联邦学习(DFL)在训练速度、隐私保护和轻量级通信方面优于中心化联邦学习(CFL),使其成为联邦学习领域中一个有希望的替代方案。然而,由于严重的非一致性,DFL 在泛化能力方面仍然存在显著差异,例如理论理解不足和经验性能下降。在本文中,我们通过开发一种相反的前瞻增强技术(Ole)来增强 DFL 的一致性,从而产生 OledFL 来优化每个通信轮次中每个客户端的初始化,从而显著提高泛化能力和收敛速度。此外,我们在非凸设置中严格地建立了它的收敛速度,并通过一致性稳定性来刻画它的泛化界限,这为 OledFL 如何能够同时实现快速收敛速度和高泛化能力提供了具体的理由。在 CIFAR10 和 CIFAR100 数据集上使用狄利克雷分布和病态分布进行的广泛实验表明,与 DFL 中最流行的 DFedAvg 优化器相比,我们的 OledFL 可以实现高达 5% 的性能提升和 8 倍的加速。