LLM2D
SacFL:自适应 federated 连续学习方法为资源受限的末端设备
SacFL: Self-Adaptive Federated Continual Learning for Resource-Constrained End Devices
作者: Zhengyi Zhong, Weidong Bao, Ji Wang, Jianguo Chen, Lingjuan Lyu, Wei Yang Bryan Lim
发布日期: 5/2/2025
arXiv ID: oai:arXiv.org:2505.00365v1

摘要

arXiv:2505.00365v1 宣告类型: cross 摘要:终端设备的普及导致了分布式计算范式,在这种范式中,部署在设备上的机器学习模型不断处理这些设备生成的多样数据。这种数据的动态性,表现为持续变化或数据漂移,对部署在设备上的模型构成了重大挑战。为了解决这一问题,提出了持续学习(CL),使机器学习模型能够逐步更新其知识并减轻遗忘灾难。然而,传统的中心化CL方法由于隐私和数据体积问题不适合终端设备。在这一背景下,联邦持续学习(FCL)作为一种有前景的解决方案浮现出来,保留用户数据本地化,同时通过协作更新增强模型。针对持续学习中有限的存储资源、任务转换检测的低自主性以及FCL场景中应对新对抗任务的难度,我们提出了一种新型的FCL框架,名为SacFL。SacFL采用编码器-解码器架构来分离任务稳健性和任务敏感性组件,通过保留轻量级的任务敏感性组件,显著减少了资源受限终端设备的存储需求。此外,SacFL利用对比学习引入了一种自主数据漂移检测机制,使其能够辨别是否出现了新任务以及该任务是否是良性任务。这一能力最终允许设备在无需额外信息的情况下自主触发持续学习或攻击防御策略,这更适合终端设备。在Cifar100和THUCNews等多个文本和图像数据集上进行的全面实验验证了SacFL在类增量和域增量场景中的有效性。此外,我们还开发了一个演示系统来验证其实用性。