摘要
arXiv:2409.14983v2 通知类型: 替换交叉
摘要: 非示例类增量学习(NECIL)使模型能够在无需从头开始重新训练和存储旧任务示例的情况下连续获取新类,从而解决隐私和存储问题。然而,缺乏早期任务的数据加剧了NECIL中的灾难性遗忘挑战。本文提出了一种新颖的框架,称为特定任务适配器动态集成(DIA),该框架包括两个关键组件:特定任务适配器集成(TSAI)和切片级模型对齐。TSAI通过切片级适配器集成策略增强组合性,提供了更灵活的组合解决方案,同时保持较低的计算成本。切片级模型对齐通过两种专门机制Maintains特征一致性并保持准确的决策边界:切片级蒸馏损失(PDL)和切片级特征重构方法(PFR)。具体来说,PDL通过基于切片标记对新类学习的贡献实现基于蒸馏损失的特征级一致性,从而在连续模型之间保持特征级一致性。PFR通过从以前任务重建适应新任务知识的老类特征,促进准确的分类器对齐。广泛的实验验证了我们DIA的有效性,在NECIL环境中显著提高了基准数据集的性能,并保持了计算复杂性和准确性的最优平衡。