摘要
随着深度学习的快速发展,人工智能(AI)应用中固有的伦理和隐私问题日益受到关注。机器遗忘(MU)是研究领域,旨在通过使训练好的 AI 模型忘记不希望的训练数据来解决这些问题。不幸的是,大多数现有的 MU 方法在遗忘方面会造成巨大的时间和计算成本。因此,这些方法通常难以应用于实际数据集和复杂的架构,例如 ImageNet 和 Transformer。为了解决这个问题,我们提出了一种轻量级且有效的 MU 方法。我们的方法识别对遗忘目标敏感的模型参数,并在这些模型参数中添加扰动。我们通过计算 Fisher 信息矩阵 (FIM) 来识别敏感参数。这种方法不需要花费大量时间进行额外的遗忘训练。此外,我们引入了特定于类的随机信号,称为记忆代码,以降低 FIM 计算的成本,FIM 计算通常需要整个训练数据并会产生巨大的计算成本。在我们的方法中,我们用记忆代码训练模型;在遗忘时,我们使用少量记忆代码来计算 FIM,并获得有效的遗忘扰动。全面的实验表明,我们的方法比现有的 MU 方法更快,并且在遗忘方面更有效。此外,我们证明了我们的方法可以扩展到更实际的数据集和更复杂的架构。