LLM2D
FedProx 与外推和近似代理的收敛性研究
On the Convergence of FedProx with Extrapolation and Inexact Prox
作者: Hanmin Li, Peter Richt\'arik
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01410v1

摘要

Li 等人(2024a)最近提出了 FedExProx 方法,该方法通过在服务器端进行外推来增强 FedProx 联邦学习算法(Li 等人,2020)。然而,他们的理论分析依赖于每个客户端精确计算某个近端算子的假设,而在实际环境中,这几乎不可能实现。本文在光滑且全局强凸的情况下,研究了 FedExProx 在没有该精确性假设下的行为。我们建立了一个通用的收敛结果,表明不精确性会导致收敛到解的邻域。此外,我们证明了通过仔细控制,可以减轻这种不精确性的负面影响。通过将不精确性与偏差压缩(Beznosikov 等人,2023)联系起来,我们细化了我们的分析,突出了外推对不精确近端更新的鲁棒性。我们还研究了每个客户端使用各种局部优化器实现所需不精确性水平所需的局部迭代复杂度。我们通过全面的数值实验验证了我们的理论见解。