LLM2D
LoTUS: 大规模机器遗忘arrings 不确定性的滋味
LoTUS: Large-Scale Machine Unlearning with a Taste of Uncertainty
作者: Christoforos N. Spartalis, Theodoros Semertzidis, Efstratios Gavves, Petros Daras
发布日期: 5/8/2025
arXiv ID: oai:arXiv.org:2503.18314v3

摘要

arXiv:2503.18314v3 宣布类型: replace-cross 摘要: 我们提出了LoTUS,这是一种新颖的机器遗忘(MU)方法,可以消除预训练模型中的训练样本影响,避免从头开始重新训练。LoTUS 将模型的预测概率平滑到信息论上限,减轻其由于数据记忆导致的过度自信。我们在五个公共数据集上对Transformer和ResNet18模型与八种基线进行了评估。除了现有的MU基准之外,我们还在一个大规模数据集ImageNet1k上进行了遗忘评估,其中重新训练是不现实的,以模拟现实世界条件。此外,我们引入了新颖的无重新训练的詹森-沙因 divergence(Retrain-Free Jensen-Shannon Divergence, RF-JSD)度量,以在现实世界条件下进行评估。实验结果表明,LoTUS 在效率和效果上均优于最先进的方法。代码: https://github.com/cspartalis/LoTUS。