摘要
arXiv:2502.05684v2 宣告类型: replace-cross
摘要:如何在最小化有用性和提供严格保证的前提下,有效地从学习成果中去除或“忘记”不必要的信息,例如特定特征或个别数据点?我们引入了一种基于信息论正则化的数学框架,以解决特征和数据点的遗忘问题。对于特征遗忘,我们推导出一个统一的解决方案,可以同时优化多种学习目标,包括熵、条件熵、KL散度和条件概率的能量。对于数据点遗忘,我们首先提出了一种新的定义,作为一种通过重新训练进行遗忘的实际条件,易于验证,并且在推理视角上与差分隐私原则相一致。然后,我们为我们的框架提供了关于数据点遗忘的可证明保证。通过学习目标的灵活性和正则化设计的简洁性相结合,我们的方法对于广泛的应用场景中的机器学习和AI具有高度的适应性和实用性。