arXiv:2410.12918v2 公告类型: 替换-交叉 摘要: 中心化学习 (Centralized Learning, CL) 是一种允许网络节点在无需共享原始数据的情况下协作训练机器学习模型的新兴技术。处理“狭路相逢”的问题，即计算或通信速度较慢的节点，是对中心化学习中的一个关键挑战。我们提出了一种名为 DivShare 的新颖的异步学习算法，该算法能够在存在通信“狭路相逢”情况下实现模型快速收敛。DivShare 通过使节点将模型分割为参数子集，并且在并行于计算的情况下，将每个子集发送到其他节点的随机样本（而不是按顺序交换完整模型）来实现这一点。这种将较小片段的传输允许更有效地使用集体带宽，并使得网络链接速度较慢的节点能够快速贡献其至少部分模型参数。通过理论证明 DivShare 的收敛性，我们提供了迄今为止第一个正式证明的异步学习算法收敛性的证明，该算法考虑了存在延迟的异步通信的影响。我们使用两种最新的中心化学习基准算法 AD-PSGD 和 Swift 对 DivShare 进行了实验性评估，并使用了两个标准数据集 CIFAR-10 和 MovieLens。我们发现，在 CIFAR-10数据集上，即使存在通信“狭路相逢”，DivShare 的时间对准确性的提高可以达到 AD-PSGD 的 3.9 倍。与基准算法相比，DivShare 在 CIFAR-10 和 MovieLens 数据集上分别达到了最高 19.4% 的更好准确性和 9.5% 较低的测试损失。