arXiv:2405.12523v3 公告类型: replace-cross 摘要: 机器卸载赋予个人“被遗忘的权利”，通过从机器学习模型中删除其私人或敏感信息来实现。然而，尚不确定MU是否能有效地应用于多模态大型语言模型（MLLMs），特别是在忘记泄露的概念视觉数据时更为不确定。为了解决这一挑战，我们提出了一种高效的方法，单图像卸载（SIU），通过仅对与概念相关的一张图像进行少量微调来卸载概念的视觉识别。SIU 包括两个关键方面：（i）构建多层次的微调数据。我们引入了四个目标，基于这些目标，我们为需要忘记的概念构建微调数据；（ii）联合训练损失。为了同步忘记概念的视觉识别和保留MLLMs的实用性，我们通过结合交叉熵损失与新型双重掩码的KL散度损失来微调MLLMs。除了我们的方法外，我们还建立了MMUBench，这是一个新的基准，用于MLLMs中的MU评估，并引入了一组评估指标。在MMUBench上的实验结果表明，SIU完全超越了现有方法的性能。此外，我们惊讶地发现，SIU可以避免侵入性成员身份推断攻击和 Jailbreak 攻击。据我们所知，我们是首次在MLLMs中探索MU。我们将在不久的将来开源代码和基准。