arXiv:2504.00308v1 类型：交叉 摘要：联邦学习（FL）能够在边缘设备上实现分布式训练，但由于边缘环境中的资源限制，给通信和计算效率带来了重大挑战。现有的迭代剪枝技术提高了通信效率，但它们的设计集中化，难以应对FL的去中心化和数据分布不平衡的特性，导致剪枝稀疏度效果不佳。为了解决这些问题，我们提出了FedPaI，这是一种新颖的高效联邦学习框架，利用初始化剪枝（PaI）来实现极致稀疏度。FedPaI 在训练初期就识别出最优的稀疏连接，最大限度地提高模型容量，并通过在训练开始时固定稀疏模式来显著降低通信和计算开销。为了适应不同的硬件和软件环境，FedPaI 支持结构化和非结构化剪枝。此外，我们引入了个性化的客户端剪枝机制以提高学习容量，并引入了感知稀疏度的服务器端聚合以增强效率。实验结果表明，与现有使用传统迭代剪枝的高效联邦学习方法相比，FedPaI 在效率和模型准确性方面均表现出显著的优势。我们的FedPaI首次在非一致独立同分布（non-IID）设置中实现了高达98%的极致稀疏度，而不损害模型的准确性。通过采用我们的FedPaI进行模型学习能力和稀疏度的联合优化，联邦学习应用可以实现更快的收敛并且将训练加速6.4到7.9倍。