LLM2D
异质联邦连续学习中的精准遗忘
Accurate Forgetting for Heterogeneous Federated Continual Learning
作者: Abudukelimu Wuerkaixi, Sen Cui, Jingfeng Zhang, Kunda Yan, Bo Han, Gang Niu, Lei Fang, Changshui Zhang, Masashi Sugiyama
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14205v1

摘要

arXiv:2502.14205v1 宣告类型: cross 摘要:近年来,联邦学习(FL)引起了广泛关注。然而,客户端在顺序学习中所处的环境仍较少被探讨。将联邦学习与连续学习(CL)相结合,引发了具有挑战性的实际问题:联邦连续学习(FCL)。现有的FCL研究主要集中在缓解连续学习中的灾难性遗忘问题,同时与其他客户端协作。我们认为遗忘现象不总是负面的。在本文中,我们考虑了一个更加实际且具有挑战性的FCL设置,其中不同客户端之间可能存在相关性或甚至是对立的数据/任务。在联邦学习场景中,客户端之间的统计异质性和数据噪声可能会表现出虚假的相关性,导致有偏的特征学习。现有的CL策略主要关注充分利用先前的知识,而我们发现,在我们的研究中,忘记有偏信息是有益的。因此,我们提出了一种新的准确遗忘(AF)概念,并开发了一种新颖的生成重放方法~\method~,该方法在联邦网络中选择性地利用先前的知识。我们基于正态流模型的概率框架来量化先前知识的可信度。全面的实验表明,我们的方法优于基准方法。