arXiv:2502.01636v1 宣告类型：交叉 摘要：前期关于参数修改的知识编辑工作表明，大规模的顺序编辑会导致模型显著退化。在这篇论文中，我们研究了这一现象背后的原因，并将顺序知识编辑扩展到10,000次顺序编辑，同时保持原始模型的下游性能。我们首先表明，基于“寻找并修改”的知识编辑方法会导致对编辑事实的过拟合。我们还表明，使用这些方法的连续知识编辑会导致编辑矩阵范数不成比例地增长。然后，我们揭示了“寻找并修改”方法工作原理中的关键洞察。我们证明这些方法利用了一个隐藏的技巧——这种技巧赋予了从编辑层产生的输出激活更大的重要性。通过这种“重要性篡改”，编辑层对模型输出的贡献大幅增加。为了解决这些问题，我们提出了ENCORE——早期停止和范数受限的稳健知识编辑。ENCORE通过控制过拟合和不成比例的范数增长，使长期顺序编辑成为可能，我们能够在不牺牲下游性能的情况下进行多达10,000次顺序编辑。ENCORE在Llama3-8B上比MEMIT快61%，比AlphaEdit快64%。