摘要
arXiv:2503.18314v2 公告类型: replace-cross
摘要: 我们提出了LoTUS,这是一种新颖的机器遗忘(Machine Unlearning, MU)方法,它可以消除预训练模型的影响样本,避免重新从头训练。LoTUS 将模型的预测概率平滑到信息论边界,从而减轻其由于数据记忆带来的过度自信。我们在五个多公开数据集上分别在Transformer和ResNet18模型上将LoTUS与八个基线方法进行了评估。除了已有的MU基准之外,我们还在包含1000类的ImageNet1k大规模数据集上评估了遗忘,该数据集的重训练是不切实际的,从而模拟了实际条件。此外,我们引入了新颖的无需重新训练的Jensen-Shannon散度(Retrain-Free Jensen-Shannon Divergence, RF-JSD)指标,以在实际条件下进行评估。实验结果表明,LoTUS在效率和效果上均优于现有方法。代码: https://github.com/cspartalis/LoTUS。