摘要
大型语言模型 (LLM) 在从常规基于自然语言处理的用例到 AI 智能体的广泛应用中都取得了巨大的成功。LLM 在来自各种来源的大量文本语料库上进行训练;尽管在训练 LLM 的数据预处理阶段付出了最大的努力,但它们可能会收集一些不良信息,例如个人身份信息 (PII)。因此,近年来,机器遗忘 (MUL) 领域的研究所取得的进展,其主要思想是强制 LLM 忘记(遗忘)某些信息(例如,PII),而不会在常规任务上造成性能损失。在这项工作中,我们检查了现有 MUL 技术的鲁棒性,以评估其在 LLM 中实现防泄漏遗忘的能力。特别是,我们检查了数据转换对遗忘的影响,即,如果输入格式发生变化,未学习的 LLM 是否能够回忆起被遗忘的信息?我们在 TOFU 数据集上的发现强调了使用多种数据格式来更可靠地量化 LLM 中遗忘的必要性。