LLM2D
Home
Arxiv
返回列表
重构ROME:解决顺序模型编辑中的模型崩溃问题
Rebuilding ROME : Resolving Model Collapse during Sequential Model Editing
作者:
Akshat Gupta, Sidharth Baskaran, Gopala Anumanchipalli
发布日期:
10/10/2024
arXiv ID:
oai:arXiv.org:2403.07175v3
摘要
基于秩一模型编辑(ROME)的最新研究表明,该算法无法编辑某些事实而不会破坏模型。此类编辑以前被称为失效编辑,会导致模型立即崩溃,并限制ROME用于顺序编辑。本文表明,失效编辑是ROME实现中不规则性的结果。本文提供了一个更稳定的ROME实现,我们称之为r-ROME,并表明在使用r-ROME进行大规模顺序编辑时,不再观察到模型崩溃,同时与ROME的原始实现相比,进一步提高了模型编辑的泛化能力和局部性。我们还提供了失效编辑背后原因的详细数学解释。
查看原文
下载 PDF