LLM2D
持续学习增强的原型augmented超网络
Prototype Augmented Hypernetworks for Continual Learning
作者: Neil De La Fuente, Maria Pilligua, Daniel Vidal, Albin Soutiff, Cecilia Curreli, Daniel Cremers, Andrey Barsky
发布日期: 5/14/2025
arXiv ID: oai:arXiv.org:2505.07450v2

摘要

arXiv:2505.07450v2 宣告类型: replace-cross 摘要: 持续学习(CL)旨在学习一系列任务而不忘记先前的知识,但由于一个新的任务的梯度更新往往会覆盖之前学习的权重,这会导致灾难性遗忘(CF)。我们提出了一种称为原型增强超网络(PAH)的方法,其中单个超网络根据可学习的任务原型,在需要时动态生成任务特定的分类器头部。为了减轻遗忘问题,PAH 结合了交叉熵损失和双教师蒸馏损失,一个用于对齐 logits,另一个用于对齐原型,从而确保任务间特征表示的稳定性。在 Split-CIFAR100 和 TinyImageNet 上的评估表明,PAH 达到了最先进的性能,分别在只有 1.7% 和 4.4% 忘记的情况下实现了 74.5% 和 63.7% 的准确率,超过了先前的方法,无需存储样本或头部。