LLM2D
多模态持续学习的最新进展:综述
Recent Advances of Multimodal Continual Learning: A Comprehensive Survey
作者: Dianzhi Yu, Xinni Zhang, Yankai Chen, Aiwei Liu, Yifei Zhang, Philip S. Yu, Irwin King
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05352v1

摘要

持续学习 (CL) 旨在赋予机器学习模型从新数据中持续学习的能力,同时在不遗忘之前习得的知识的基础上进行学习。随着机器学习模型从小型预训练架构发展到大型预训练架构,以及从支持单模态数据发展到支持多模态数据,多模态持续学习 (MMCL) 方法最近出现了。MMCL 的主要挑战在于它不仅仅是简单地堆叠单模态 CL 方法,因为这种直接的方法往往会产生不令人满意的性能。在这项工作中,我们首次对 MMCL 进行了全面的综述。我们提供了必要的背景知识和 MMCL 设置,以及 MMCL 方法的结构化分类。我们将现有的 MMCL 方法分为四类,即正则化方法、架构方法、重放方法和提示方法,解释了它们的方法论并突出了它们的关键创新。此外,为了促进该领域进一步的研究,我们总结了开放的 MMCL 数据集和基准,并讨论了几种有希望的未来研究和发展方向。我们还创建了一个 GitHub 仓库来索引相关的 MMCL 论文和开放资源,可在 https://github.com/LucyDYu/Awesome-Multimodal-Continual-Learning 获取。