LLM2D
federated 类增量学习与提示方法
Federated Class-Incremental Learning with Prompting
作者: Xin Luo, Fang-Yi Liang, Jiale Liu, Yu-Wei Zhan, Zhen-Duo Chen, Xin-Shun Xu
发布日期: 4/14/2025
arXiv ID: oai:arXiv.org:2310.08948v2

摘要

arXiv:2310.08948v2 宣告类型: replace-cross 摘要:随着网络技术的不断发展,使用不同客户端存储的数据已成为越来越常见的做法。与此同时,由于其能够在保护数据隐私的情况下,使模型从分布于各个客户端的数据中学习的特性,联邦学习受到了广泛的关注。然而,现有的大多数工作假设客户端的数据是固定的。在现实场景中,这种假设很可能并不成立,因为数据可能会持续生成,新的类别也可能出现。鉴于此,我们专注于实用且具有挑战性的联邦分类增量学习(FCIL)问题。对于FCIL,局部和全局模型可能会因为新类别的到来而导致对旧类别的灾难性遗忘,而且客户端的数据分布是非独立且不相同分布(non-iid)。 在这篇论文中,我们提出了一种新颖的方法,称为基于提示的联邦分类增量学习(FCILPT)。考虑到隐私和有限的内存,FCILPT 不使用回溯机制来保存旧数据的实例。我们选择使用提示来缓解对旧类别的灾难性遗忘。具体地,我们将任务相关和任务无关的知识编码到提示中,保留局部客户端的旧知识和新知识,并解决了灾难性遗忘的问题。我们首先在本地客户端按提示池中的任务信息对任务信息进行排序,以在全局聚合前对不同客户端的任务信息进行对齐。这确保了同一任务的知识得到了全面整合,解决了由于不同客户端在同一个增量任务中缺少类别而导致的非-iid问题。在CIFAR-100、Mini-ImageNet和Tiny-ImageNet上的实验表明,FCILPT 在与最先进的方法相比时,实现了显著的准确率提升。