LLM2D
分层拆分联邦学习:收敛性分析与系统优化
Hierarchical Split Federated Learning: Convergence Analysis and System Optimization
作者: Zheng Lin, Wei Wei, Zhe Chen, Chan-Tong Lam, Xianhao Chen, Yue Gao, Jun Luo
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2412.07197v2

摘要

arXiv:2412.07197v2 宣告类型: replace-cross 摘要:随着AI模型的不断扩大,将联邦学习(FL)部署到资源受限的边缘设备上变得越来越具有挑战性。为解决这一问题,分拆联邦学习(SFL)作为一种通过模型拆分减少边缘设备工作量的FL框架,近年来引起了研究社区的广泛注意。然而,大多数关于SFL的先前工作仅关注两层架构,而未能充分利用多层云计算资源。在本文中,我们旨在分析和优化在多层系统下SFL的学习性能。具体而言,我们提议了分层SFL(HSFL)框架,并推导出了其收敛界。基于理论结果,我们制定了一个联合优化问题,用于模型拆分(MS)和模型聚合(MA)。为了解决这个问题,我们将其分解为可以通过迭代下降算法分别求解的MS和MA子问题。仿真结果表明,定制的算法可以有效地在几乎所有多层系统内优化SFL中的MS和MA。