LLM2D
深度遗忘:机器遗忘基准测试
Deep Unlearn: Benchmarking Machine Unlearning
作者: Xavier F. Cadet, Anastasia Borovykh, Mohammad Malekzadeh, Sara Ahmadi-Abhari, Hamed Haddadi
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01276v1

摘要

机器遗忘学习(MU)旨在从训练好的机器学习模型的可学习参数中移除特定数据点的影响。鉴于部署模型中的数据隐私要求、可信度和安全性,这是一种至关重要的能力。对于深度神经网络(DNN),例如卷积网络或视觉转换器,MU 尤其具有挑战性,因为这些 DNN 往往会记忆其训练数据集的很大一部分。然而,该领域缺乏对 DNN 的 MU 方法成功率的严格而多方面的研究。在本文中,我们研究了 18 种最先进的 MU 方法,涵盖各种基准数据集和模型,每次评估都进行了 10 次不同的初始化,这是一项全面的评估,涉及超过 10 万个模型的 MU。我们表明,在适当的超参数下,掩蔽小梯度 (MSG) 和卷积转置 (CT) 在不同模型、数据集和初始化方面,在模型准确率和运行时效率方面始终表现更好,这通过基于群体的成员推理攻击 (MIA) 和每样本遗忘可能性比攻击 (U-LiRA) 进行评估。此外,我们的基准测试强调了一个事实,即仅将 MU 方法与常用的基线进行比较,例如梯度上升 (GA) 或连续随机重标记 (SRL),是不够的,我们需要更好的基线,例如负梯度加 (NG+),并选择合适的超参数。