LLM2D
基于通信压缩的更快去中心化随机优化方法
Towards Faster Decentralized Stochastic Optimization with Communication Compression
作者: Rustem Islamov, Yuan Gao, Sebastian U. Stich
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2405.20114v2

摘要

通信效率日益受到关注,因为它被认为是大规模分布式和联邦机器学习应用中的主要瓶颈。在这种环境下,客户端被限制为通过通信图向其邻居传输少量量化信息。为解决这一具有挑战性的问题,人们做了许多努力,开发了用于去中心化非凸优化问题的压缩通信算法。尽管付出了相当大的努力,但目前的结果仍然存在各种问题,例如无法随着客户端数量扩展、需要大批量数据或梯度假设有限等。在本文中,我们介绍了 MoTEF,这是一种将通信压缩与动量跟踪和误差反馈相结合的新方法。我们的分析表明,MoTEF 实现了大多数所需特性,并且在任意数据异构性下显著优于现有方法。我们提供了数值实验来验证我们的理论发现,并证实了 MoTEF 的实际优越性。