LLM2D
多模态持续学习的最新进展:综述
Recent Advances of Multimodal Continual Learning: A Comprehensive Survey
作者: Dianzhi Yu, Xinni Zhang, Yankai Chen, Aiwei Liu, Yifei Zhang, Philip S. Yu, Irwin King
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.05352v2

摘要

持续学习 (CL) 旨在赋予机器学习模型从新数据中持续学习的能力,同时建立在先前获得的知识基础上,避免遗忘。随着机器学习模型从小型预训练架构发展到大型预训练架构,以及从支持单模态数据发展到支持多模态数据,多模态持续学习 (MMCL) 方法近年来应运而生。MMCL 的主要挑战在于它超越了简单堆叠单模态 CL 方法,因为这种直接的方法通常会导致令人不满意 的性能。在这项工作中,我们对 MMCL 进行了首次全面综述。我们提供了必要的背景知识和 MMCL 设置,以及 MMCL 方法的结构化分类。我们将现有的 MMCL 方法分为四类,即基于正则化的、基于架构的、基于重放的和基于提示的方法,解释了它们的方法论并突出了它们的关键创新。此外,为了促进该领域的进一步研究,我们总结了开放的 MMCL 数据集和基准,并讨论了几个有希望的未来研究和发展方向。我们还创建了一个 GitHub 存储库来索引相关的 MMCL 论文和开放资源,可在 https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning 获取。