摘要
通信效率日益受到关注,因为它被认为是大规模分布式和联邦机器学习应用中的主要瓶颈。在这种环境下,客户端被限制为通过通信图向其邻居传输少量量化信息。为解决这一具有挑战性的问题,人们做了许多努力,开发了用于去中心化非凸优化问题的压缩通信算法。尽管付出了相当大的努力,但目前的结果仍然存在各种问题,例如无法随着客户端数量扩展、需要大批量数据或梯度假设有限等。在本文中,我们介绍了 MoTEF,这是一种将通信压缩与动量跟踪和误差反馈相结合的新方法。我们的分析表明,MoTEF 实现了大多数所需特性,并且在任意数据异构性下显著优于现有方法。我们提供了数值实验来验证我们的理论发现,并证实了 MoTEF 的实际优越性。