arXiv:2412.00383v2 宣告类型: 替换 摘要：大型语言模型（LLMs）的出现已经彻底改变了自然语言处理，使其在各种任务中具备先进的理解和推理能力。通过Parameter-Efficient Fine-Tuning（PEFT）策略，如LoRA，对这些模型进行特定领域的调整已成为一种普遍做法，因其高效性。然而，这引发了重大的隐私和安全问题，因为模型可能会无意中保留和传播敏感或不 desirable 的信息。为了解决这些问题，我们提出了一种新颖的实例级遗忘框架——LLMEraser，该框架系统地分类遗忘任务并使用影响函数进行精确的参数调整。与传统的遗忘技术相比，后者通常范围有限且需要大量重新训练，LLMEraser 设计用于处理广泛的遗忘任务，同时不牺牲模型性能。基准数据集上的广泛实验表明，LLMEraser 在高效管理各种遗忘场景的同时，能够保持模型的整体完整性和有效性。