LLM2D
基于信息论正则化的人工智能去学习
Machine Unlearning via Information Theoretic Regularization
作者: Shizhou Xu, Thomas Strohmer
发布日期: 2/11/2025
arXiv ID: oai:arXiv.org:2502.05684v1

摘要

arXiv:2502.05684v1 交叉类型公告 摘要:我们如何在最小化性能损失和提供严格保证的同时,有效地从学习成果中去除或“遗忘”不希望的信息,如特定特征或个别数据点?我们提出了一个基于信息论正则化的数学框架,以解决特征和数据点遗忘的问题。对于特征遗忘,我们推导出一种统一的解决方案,同时优化多种学习目标,包括熵、条件熵、KL散度和条件概率的能量。对于数据点遗忘,我们首先提出了一种新定义,作为通过重新训练进行遗忘的实际条件,易于验证,并从推断视角与差分隐私原则相一致。然后,我们为我们框架的数据点遗忘提供了可证明的保证。通过在学习目标灵活性与正则化设计简单性之间的结合,我们的方法对于广泛范围的机器学习和AI应用具有高度的适应性和实用性。