arXiv:2505.07899v1 类别: cross 摘要: 顺序知识编辑技术旨在以低成本连续更新大型语言模型中的知识，防止模型生成过时或错误的信息。然而，现有的顺序编辑方法在长期编辑后编辑成功率显著下降。通过理论分析和实验，我们发现随着编辑次数的增加，模型的输出越来越偏离期望目标，导致编辑成功率下降。我们将这一问题称为叠加噪声积累问题。为解决这一问题，我们识别导致这种偏离的因素，并提出了一种名为DeltaEdit的新方法，该方法通过动态正交约束策略优化更新参数，有效减少编辑之间的干扰以减轻偏离。实验结果显示，DeltaEdit在编辑成功率和保留泛化能力方面显著优于现有方法，确保即使在广泛的顺序编辑下也能保持稳定和可靠的模型性能。