LLM2D
通过模式连通性视角理解机器遗忘
Understanding Machine Unlearning Through the Lens of Mode Connectivity
作者: Jiali Cheng, Hadi Amiri
发布日期: 4/10/2025
arXiv ID: oai:arXiv.org:2504.06407v1

摘要

arXiv:2504.06407v1 Announce Type: 横跨领域 摘要:机器遗忘的目的是在无需从头重新训练完整模型的情况下,移除训练好的模型中的不需要信息。尽管近期有所进步,但它们的基本损失景观和优化动力学却较少受到关注。在这篇文章中,我们通过模式连通性的视角来研究和分析机器遗忘——这是一种独立训练的模型可以在参数空间中通过平滑低损失路径相互连接的现象。我们定义并研究了遗忘过程中多种未被注意的情况下的模式连通性,包括不同遗忘方法之间的连接、使用和未使用递增学习的模型,以及使用一阶和二阶技术优化的模型。我们的发现显示了不同评估指标沿着曲线的不同波动模式,以及不同遗忘方法之间的机械(不)相似性。据我们所知,这是首次在机器遗忘的背景下研究模式连通性的研究。