arXiv:2505.02486v1 类型: cross 摘要: 多模态连续指令调整 (MCIT) 的目标是使多模态大型语言模型 (MLLMs) 能够在不发生灾难性遗忘的情况下逐步学习新任务。在本文中，我们探讨了在这种情况下发生的遗忘，并将其分为表面遗忘和本质遗忘。表面遗忘是指模型的知识实际上并未真正丢失，但由于后续任务答案风格的影响，其对先前任务的响应偏离了预期格式，使得结果不可用。相比之下，本质遗忘是指模型提供了格式正确但事实不准确的答案，这表明知识的真实丢失。评估本质遗忘的前提是首先解决表面遗忘，因为严重的表面遗忘可能会掩盖模型的知识状态。因此，我们首先引入了答案风格多样化 (ASD) 原理，该原理定义了一种标准化的数据样式转换过程，将不同任务的训练集统一成类似的多样化风格，以防止由风格转换引起的表面遗忘。在此基础上，我们提出了 RegLoRA 来缓解本质遗忘。RegLoRA 通过应用正则化稳定主要存储先前知识的关键参数，从而使模型能够保留现有的技能。实验结果表明，我们整体方法 SEFE 达到了最先进的性能。