摘要
联邦学习 (FL) 是一种新兴的范式,它使智能代理能够以分布式的方式协作训练机器学习 (ML) 模型,从而无需共享其本地数据。最近的工作 (arXiv:2106.02969) 引入了一系列联邦牛顿学习 (FedNL) 算法,标志着将二阶方法应用于 FL 和大规模优化的重要一步。然而,参考 FedNL 原型存在三个严重的实际缺陷:(i) 它需要 4.8 小时才能在服务器级工作站上启动一个实验;(ii) 原型只模拟多节点设置;(iii) 将原型集成到资源受限的应用程序中具有挑战性。为了弥合理论与实践之间的差距,我们为单节点和多节点设置提供了 FedNL、FedNL-LS、FedNL-PP 的自包含实现。我们的工作解决了上述问题,并将挂钟时间缩短了 x1000。凭借此 FedNL,在单节点 - CVXPY (arXiv:1603.00943) 和多节点 - Apache Spark (arXiv:1505.06807)、Ray/Scikit-Learn (arXiv:1712.05889) 上训练逻辑回归时,其性能优于其他方法。最后,我们为 FedNL 提出了两个面向实践的压缩器——自适应 TopLEK 和缓存感知 RandSeqK,它们满足了 FedNL 的理论。