arXiv:2410.02355v4 宣告类型: replace-cross 摘要: 大型语言模型（LLMs）常常由于不正确的或过时的知识而表现出幻觉。因此，已经出现了模型编辑方法来实现有针对性的知识更新。为了实现这一点，当前流行的方法是定位-然后编辑方法，它首先定位有影响力的参数，然后通过引入扰动来编辑它们。虽然这种方法有效，但当前的研究已经证明，这种扰动不可避免地会破坏LLMs中保留的知识，尤其是连续编辑场景中。为了解决这一问题，我们引入了AlphaEdit，这是一种新颖的解决方案，在应用到参数之前，将扰动投影到保留知识的零空间。我们从理论上证明了这种投影确保在查询保留知识时，编辑后的LLMs的输出保持不变，从而减轻了扰动带来的问题。在各种LLMs上的广泛实验，包括LLaMA3、GPT2-XL和GPT-J，表明，通过在投影代码上添加一行额外的代码，AlphaEdit可以提高大多数定位-然后编辑方法的性能，平均提升36.7%。我们的代码可以在以下链接获取：https://github.com/jianghoucheng/AlphaEdit。