摘要
arXiv:2501.19122v1 Announce Type: cross
摘要:联邦学习(FL)可以通过分布式客户端协同训练模型而无需共享数据,但其高计算和通信需求对资源受限的设备构成了压力。现有的方法通过定期调整稀疏模型拓扑以维持稀疏性来提高效率,但这些方法存在贪婪调整、不稳定拓扑和通信低效等问题,导致模型不够 robust 并且在数据异构性和部分客户端可用性情况下性能不佳。为了解决这些问题,我们提出了基于组合唐纳利采样的联邦 robust 剪枝(FedRTS)这一新颖框架,以开发 robust 稀疏模型。FedRTS 通过其基于唐纳利采样的调整(TSAdj)机制增强了 robust 性和性能,该机制使用由稳定且远见的信息指导的概率决策,而非依赖于不稳定且近视的信息。广泛的实验表明,FedRTS 在计算机视觉和自然语言处理任务中实现了最先进的性能,同时降低了通信成本,尤其是在数据分布异构和部分客户端参与的场景中表现出色。我们的代码可供参考:https://github.com/Little0o0/FedRTS