LLM2D
DualOptim:增强机器遗忘效性和稳定性的双优化器方法
DualOptim: Enhancing Efficacy and Stability in Machine Unlearning with Dual Optimizers
作者: Xuyang Zhong, Haochen Luo, Chen Liu
发布日期: 4/23/2025
arXiv ID: oai:arXiv.org:2504.15827v1

摘要

arXiv:2504.15827v1 宣告类型:交叉领域 摘要:现有的机器遗忘(MU)方法对超参数表现出显著的敏感性,需要细致的调优才能实现,这限制了其实用部署。在这项工作中,我们首先实证证明了现有流行的MU方法在不同场景中部署时表现出不稳定性及次优性能。为解决这一问题,我们提出了一种双优化器(DualOptim),该方法结合了自适应学习率和解耦动量因子。实证和理论证据表明,DualOptim 能够实现有效的且稳定的遗忘。通过广泛实验,我们展示了 DualOptim 能够显著提高 MU 在各种任务中的有效性和稳定性,包括图像分类、图像生成和大型语言模型,使其成为增强现有 MU 算法的 versatile 方法。