LLM2D
稀疏表示下的反学习
Unlearning via Sparse Representations
作者: Vedant Shah, Frederik Tr\"auble, Ashish Malik, Hugo Larochelle, Michael Mozer, Sanjeev Arora, Yoshua Bengio, Anirudh Goyal
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2311.15268v2

摘要

机器“遗忘学习”,即从训练模型中删除关于“遗忘集”的知识,现有的技术可能代价高昂且不可行。我们提出了一种基于离散表示瓶颈的近乎无计算量的零样本遗忘学习技术。我们表明该技术可以有效地遗忘遗忘集,并且对模型在其余数据集上的性能造成微不足道的损害。我们使用三个数据集 CIFAR-10、CIFAR-100 和 LACUNA-100 对该技术在“类别遗忘学习”问题上的有效性进行了评估。我们将该技术与 SCRUB(一种使用知识蒸馏进行遗忘学习的最先进方法)进行了比较。在所有三个数据集上,该技术与 SCRUB 的性能相当,甚至更好,同时几乎没有计算成本。