摘要
arXiv:2505.08138v1 交叉类型公告
摘要:机器遗忘方法会采用一个在数据集上训练的模型和一个遗忘集,然后尝试生成一个仿佛仅使用不在遗忘集中的示例进行训练的模型。我们通过实验证明,对手能够区分镜像模型(通过重新训练而没有遗忘的数据生成的控制模型)和通过遗忘方法生成的模型。这些区分是在文献中代表性遗忘方法的基础上进行的。我们基于文献中的评估得分(即成员推理得分)和Kullback-Leibler散度构建了区分算法。
我们提出了一个关于机器遗忘的强烈形式定义,称为计算遗忘。计算遗忘是指对手无法区分镜像模型和通过遗忘方法生成的模型的能力。如果对手不能在随机猜测之外有更好的表现(除了以可忽略的概率),我们就说一个遗忘方法实现了计算遗忘。
我们的计算遗忘定义为证明遗忘可行性结果提供了理论结构。例如,我们的计算遗忘定义直接表明,对于熵学习算法,不存在确定性的计算遗忘方法。我们还探讨了基于差分隐私(DP)的遗忘方法与计算遗忘之间的关系,展示了在牺牲极端用处坍塌的情况下,基于DP的方法可以满足计算遗忘。这些结果表明,文献中现有的方法在本质上未能实现计算遗忘。最后,我们确定了一些未来工作的开放性问题。