arXiv:2502.03092v1 宣告类型: cross 摘要：模型大小的指数增长显著增加了联邦学习（FL）中的通信负担。现有通过传输压缩梯度来缓解这一负担的方法往往面临高压缩错误的问题，这会减慢模型的收敛速度。为同时实现高压缩效率和较低的压缩错误，我们从全新的角度研究了梯度压缩问题。具体而言，我们提出了一种系统性的算法，称为扩展单步合成特征压缩（E-3SFC），该算法由三个子组件组成，即单步合成特征压缩器（3SFC）、双向压缩算法和通信预算调度器。首先，我们将模型梯度计算过程视作从相应输入中解压缩梯度的过程，而逆过程则视为压缩梯度。基于此，我们引入了一种新颖的梯度压缩方法，称为3SFC，该方法利用模型本身作为解压缩器，利用训练先验，如模型权重和目标函数。3SFC在单步模拟中将原始梯度压缩为小型合成特征，并结合误差反馈以最小化整体压缩误差。为了进一步减少通信开销，3SFC 被扩展为 E-3SFC，允许双向压缩和动态通信预算调度。在强凸和非凸条件下，我们的理论分析表明，3SFC 可以在聚合噪声的情况下实现线性和亚线性收敛率。广泛实验在六个数据集和六个模型上显示，3SFC 在通信成本降低 111.6 倍的情况下，比现有最佳方法性能高出 13.4%。这些发现表明，3SFC 可以在不牺牲模型性能的情况下显著提升 FL 中的通信效率。