摘要
arXiv:2503.23402v1 更新类型: cross
摘要: 几乎零样本类增量学习(FSCIL)由于训练数据极为有限而具有挑战性;同时又旨在减少灾难性遗忘并学习新信息。我们提出了一种名为Diffusion-FSCIL的新型方法,该方法使用一个冻结的文本到图像扩散模型作为骨干。我们的假设是,可以通过大型生成模型的能力来解决FSCIL问题,受益于1)大规模预训练的生成能力;2)多尺度表示;3)通过文本编码器实现的表示灵活性。为了最大化表示能力,我们建议提取多个互补的扩散特征,这些特征在轻微的特征蒸馏支持下扮演潜在重演的角色,以防止生成偏见。我们的框架通过以下方式实现效率:1)使用一个冻结的骨干;2)最少的可训练组件;3)批量处理多次特征提取。在CUB-200、miniImageNet和CIFAR-100上的广泛实验表明,Diffusion-FSCIL超过了现有最佳方法,并在以前学习的类别上保持了性能,并有效适应新的类别。