LLM2D
MMUNLEARNER: 在多模态大型语言模型时代的多模态机器遗忘重构
MMUNLEARNER: Reformulating Multimodal Machine Unlearning in the Era of Multimodal Large Language Models
作者: Jiahao Huo, Yibo Yan, Xu Zheng, Yuanhuiyi Lyu, Xin Zou, Zhihua Wei, Xuming Hu
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.11051v1

摘要

arXiv:2502.11051v1 Announce Type: cross 摘要:最近在机器遗忘(MU)方面的进展引入了从深度神经网络中选择性删除私人或敏感信息的解决方案。然而,对于多模态大语言模型(MLLMs)的MU仍处于初级阶段。因此,我们提出了在MLLM时代重述多模态MU的任务,其目标是在保留原始语言模型主干中与给定实体对应的文本知识的同时,仅删除与该实体相关的视觉模式。此外,我们开发了一种新颖的几何约束梯度下降方法MMUnlearner。在遗忘过程中,MMUnlearner通过联合限制剩余的概念和文本知识来更新MLLM的权重,从而保留对于非目标知识至关重要的参数。广泛的经验表明,MMUnlearner在所有评估维度上都优于直接通过梯度上升(GA)或负偏好优化(NPO)微调MLLM的基线方法。我们的代码将在接受后发布。