LLM2D
擦除然后修正:一种无需训练的参数编辑方法,用于经济高效的图解学习
Erase then Rectify: A Training-Free Parameter Editing Approach for Cost-Effective Graph Unlearning
作者: Zhe-Rui Yang, Jindong Han, Chang-Dong Wang, Hao Liu
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16684v1

摘要

图解学习旨在消除特定节点、边或属性对已训练图神经网络 (GNN) 的影响,在隐私、偏差或数据过时成为问题的应用中至关重要。然而,现有的图解学习技术通常需要对剩余数据进行额外训练,导致巨大的计算成本,特别是在处理大型图时。为了解决这些挑战,我们提出了一种两阶段无训练方法,即擦除然后修正 (ETR),旨在实现高效且可扩展的图解学习,同时保留模型效用。具体来说,我们首先建立了一个理论基础,表明屏蔽对未学习样本至关重要的参数能够实现有效的解学习。基于这一洞察,擦除阶段战略性地编辑模型参数,以消除未学习样本的影响及其对相互关联节点的传播影响。为了进一步确保 GNN 的效用,修正阶段设计了一种梯度近似方法来估计模型在剩余数据集上的梯度,然后用它来增强模型性能。总的来说,ETR 实现了图解学习,无需额外训练或完整训练数据访问,显着减少了计算开销并保护了数据隐私。在七个公共数据集上的大量实验表明,ETR 在模型效用、解学习效率和解学习有效性方面始终优于其他方法,使其成为解决现实世界图解学习挑战的有希望的解决方案。