LLM2D
梯度高斯牛顿在线认证遗忘
Hessian-Free Online Certified Unlearning
作者: Xinbao Qiao, Meng Zhang, Ming Tang, Ermin Wei
发布日期: 2/7/2025
arXiv ID: oai:arXiv.org:2404.01712v4

摘要

arXiv:2404.01712v4 宣告类型: replace-cross 摘要:机器卸载旨在通过使模型选择性地忘记特定数据,来维护数据所有者的被遗忘权利。最近的研究表明,可以通过预计算和存储从二次信息中提取的统计信息,并通过牛顿风格的更新来实现卸载。然而,海森矩阵操作极其昂贵,先前的工作在凸性假设下对经验风险最小化器进行卸载,这排除了它们在高维过度参数化模型和非收敛条件下适用的可能性。在本文中,我们提出了一种高效的无海森矩阵卸载方法。关键思想是为每条训练数据维护一个统计向量,该向量是通过重新训练和已学习模型之间的差异的仿射随机递归计算得出的。我们证明,在相同的正则条件下,我们提出的方法在卸载和泛化保证、删除容量以及时间/存储复杂性方面都优于最先进的方法。通过重复收集以删除数据所需的统计信息,我们开发了一种在线卸载算法,该算法实现了近乎即时的数据删除,因为它只需要向量相加。实验结果表明,与毫秒级卸载执行时间及存储成本方面的现有结果相比,我们提出的方案在时间/存储成本方面提高了多个数量级,同时还提高了测试准确率。