arXiv:2504.13218v1 类型: cross 摘要: 增量学习旨在使模型能够从不断演变的数据流中持续获取知识，同时保留之前学到的能力。尽管目前的研究主要集中在单一模态增量学习和模态一致的多模态增量学习上，但在现实世界中，往往会出现全新的模态数据，这带来了额外的挑战。本文探讨了开发一个统一模型的能力，使其能够在不断演变的模态序列中进行增量学习。为此，我们引入了一种新的范式，称为模态增量学习（MIL），其中每次学习阶段涉及不同模态的数据。为了完成这一任务，我们提出了一种名为Harmony的新框架，旨在实现模态对齐和知识保留，使模型能够减少模态差异并从一系列不同的模态中学习，最终在统一框架内完成多种模态的任务。我们的方法引入了自适应兼容特征调制和累积模态对接。通过构建历史模态特征并执行模态知识积累和对齐，提出的组件协同合作，跨越模态差异并保持知识保留，即使在每个学习阶段只有一模态数据可用的情况下也是如此。这些组件共同工作，即使在每个学习阶段只有一模态数据可用的情况下，也能建立有效的模态连接并保持知识保留。在MIL任务上的广泛实验表明，我们提出的方法显著优于现有的增量学习方法，验证了其在MIL场景中的有效性。