摘要
arXiv:2504.20988v1 宣告类型: cross
摘要: 我们介绍了枢纽与辐条学习 (Hubs and Spokes Learning, HSL) 框架,这是一种结合联邦学习 (Federated Learning, FL) 和对等学习 (Decentralized Learning, P2PL) 优点的新范式。HSL 采用了一种双层通信结构,避免了 FL 存在的单点故障问题,并在对等学习框架 Epidemic Learning Local (ELL) 上实现了更高的性能。在同等通信预算(总边数)的情况下,HSL 达到了比 ELL 更高的性能;而在显著较低的通信预算下,它可以与 ELL 的性能相当。例如,在只有 400 条边的情况下,HSL 达到了与 ELL 在 1000 条边时同等的测试精度,这在 CIFAR-10 数据集上对 100 个学习节点(辐条)进行了实验,展示了其在资源受限系统中的适用性。HSL 在混合后节点之间实现更强的一致性,从而在较少的训练轮次中提高了性能。通过严格的理论分析和广泛的实验结果,我们验证了这些观点,展示了 HSL 在大规模协作学习中的实用性。