摘要
ROME和MEMIT通常被认为是两种不同的模型编辑算法,它们的主要区别在于是否能够进行批量编辑。本文将这两种算法统一在一个概念框架下,针对我们称之为“保持-记忆”的目标进行优化。ROME使用等式约束来优化该目标以一次执行一个编辑,而MEMIT则采用更灵活的最小二乘约束来允许批量编辑。我们对ROME进行了推广,并以EMMET(Transformer的等式约束批量模型编辑算法)的形式,使用等式约束实现了批量编辑,这是一种新的批量内存编辑算法。EMMET可以执行批量大小高达10,000的批量编辑,其在多个维度上的性能与MEMIT非常相似。通过引入EMMET,我们真正统一了ROME和MEMIT,并表明这两种算法在优化目标、能力(单次和批量编辑)、模型编辑性能和局限性方面是等效的。