LLM2D
基于知识图谱增强的生成多模态模型用于类别增量学习
Knowledge Graph Enhanced Generative Multi-modal Models for Class-Incremental Learning
作者: Xusheng Cao, Haori Lu, Linlan Huang, Fei Yang, Xialei Liu, Ming-Ming Cheng
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2503.18403v1

摘要

arXiv:2503.18403v1 类型: cross 摘要:计算机视觉中的持续学习面临着灾难性遗忘的关键挑战,模型在适应新任务时难以保留先前的知识。尽管最近的研究试图利用预训练模型的泛化能力来缓解当前任务上的过拟合,但随着任务的发展,模型仍然倾向于忘记之前学习的类别的细节,导致分类错误。为了解决这些限制,我们提出了一种新颖的基于知识图谱增强的生成多模态模型(KG-GMM),在整个学习过程中构建一个不断进化的知识图谱。我们的方法利用知识图谱中的关系来增强类标签,并为相似的类别分配不同的关系,以增强模型的区分能力。在测试阶段,我们提出了一种知识图谱增强推理方法,通过分析生成文本中的关系来定位特定的类别,从而减少学习新知识时旧类别的详细信息流失,并缓解遗忘问题。实验结果表明,我们的方法有效地利用关系信息帮助模型纠正错误预测,在传统的持续学习场景(CIL)和少样本持续学习场景(few-shot CIL)中均达到了最先进的性能,证实了知识图谱在持续学习场景中保留知识的有效性。