LLM2D
持续学习的原型增强超网络
Prototype Augmented Hypernetworks for Continual Learning
作者: Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2505.07450v1

摘要

arXiv:2505.07450v1 通知类型: cross 摘要: 持续学习(CL)的目标是在不忘记先前知识的情况下学习一系列任务,但由于新任务的梯度更新往往会覆盖之前学到的权重,导致灾难性遗忘(CF)。我们提出了一种原型增强超网络(PAH)框架,该框架通过在可学习任务原型的条件下动态生成特定任务的分类器头部来进行任务需求动态生成。为减轻遗忘,PAH 结合了交叉熵损失和双重蒸馏损失,一个是使逻辑值对齐,另一个是使原型对齐,从而确保任务间特征表示的稳定。在 Split-CIFAR100 和 TinyImageNet 上的评估表明,PAH 达到了最先进的性能,分别仅出现 1.7% 和 4.4% 的遗忘现象,其准确率达到了 74.5% 和 63.7%,并且在不存储样本或头部的情况下超过了之前的方法。