LLM2D
任务特定适配器的动态集成用于类增量学习
Dynamic Integration of Task-Specific Adapters for Class Incremental Learning
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.14983v1

摘要

非示例类增量学习(NECIL)使模型能够在不从头开始重新训练和存储旧任务示例的情况下持续获取新类别,解决了隐私和存储问题。然而,早期任务数据的缺失加剧了NECIL中灾难性遗忘的挑战。本文提出了一种名为任务特定适配器动态集成(DIA)的新框架,该框架包含两个关键组件:任务特定适配器集成(TSAI)和补丁级模型对齐。TSAI通过补丁级适配器集成策略增强了组合性,提供了更灵活的组合解决方案,同时保持了低计算成本。补丁级模型对齐通过两种专门机制维持特征一致性和准确的决策边界:补丁级蒸馏损失(PDL)和补丁级特征重构方法(PFR)。具体而言,PDL通过基于补丁标记对新类别学习的贡献实施蒸馏损失,保持了连续模型之间的特征级一致性。PFR通过从前一任务中重构适应新任务知识的旧类别特征,促进了准确的分类器对齐。广泛的实验验证了DIA的有效性,在NECIL设置下的基准数据集上显示出显著的改进,在计算复杂性和准确性之间保持了最佳平衡。本文发表后,完整的代码实现将公开发布。