摘要
arXiv:2502.11051v1 Announce Type: cross
摘要:最近在机器遗忘(MU)方面的进展引入了从深度神经网络中选择性删除私人或敏感信息的解决方案。然而,对于多模态大语言模型(MLLMs)的MU仍处于初级阶段。因此,我们提出了在MLLM时代重述多模态MU的任务,其目标是在保留原始语言模型主干中与给定实体对应的文本知识的同时,仅删除与该实体相关的视觉模式。此外,我们开发了一种新颖的几何约束梯度下降方法MMUnlearner。在遗忘过程中,MMUnlearner通过联合限制剩余的概念和文本知识来更新MLLM的权重,从而保留对于非目标知识至关重要的参数。广泛的经验表明,MMUnlearner在所有评估维度上都优于直接通过梯度上升(GA)或负偏好优化(NPO)微调MLLM的基线方法。我们的代码将在接受后发布。