arXiv:2503.22948v1 声明类型：交叉学科 摘要：大规模语言模型（LLMs）通过从大规模数据集学习已经彻底改变了自然语言处理，然而这种快速进步也引起了法律的关注，因为无意中生成受版权保护内容的能力已经引发了多起重要的诉讼案。在本文中，我们提出了SUV（Selective Unlearning for Verbatim data）选择性遗忘框架，该框架旨在防止LLM记忆受版权保护的内容，同时保持其整体实用性。具体而言，提出的方案构建了一个数据集，该数据集捕捉了目标LLM涉及版权侵权案例的实例。利用这个数据集，我们通过直接偏好优化（DPO）方法从LLM中遗忘内容，该方法用合乎情理且连贯的替代内容替换掉直接抄袭的版权内容。由于DPO可能会影响LLM在其他无关任务的性能，我们整合了梯度投影和费舍尔信息正则化来减轻性能下降。我们使用一个包含500本著名书籍的大规模数据集（主要是受版权保护的作品）验证了我们的方法，并证明了SUV显著减少了直接抄袭的内存化，同时对无关任务的性能几乎没有影响。我们在我们自己的数据集以及公共基准上的广泛实验进一步证实了我们方法的可扩展性和有效性，为应对现实世界LLM应用中的版权风险提供了有前景的解决方案。