arXiv:2401.17809v4 公告类型: replace-cross 摘要: 大型语言模型（LLMs）的通用能力使它们成为各种AI应用的基础架构，但更新它们的内部知识需要大量的资源。最近的模型编辑是一种高效更新LLMs中少量知识的有前景的技术，并且已经引起了广泛关注。特别是在直接更新模型参数的局部编辑方法已被证明适合更新少量知识方面。局部编辑方法通过计算最小二乘闭形式解更新权重，并通过推理中的向量级匹配识别编辑知识，从而取得了有希望的结果。然而，这些方法仍然需要大量的时间和资源来完成计算。此外，向量级匹配缺乏可靠性，并且这种更新破坏了模型参数的原始组织结构。为了应对这些问题，我们提出了一种可分离和可扩展的主体词嵌入修改（SWEA）框架，该框架通过标记级匹配找到编辑嵌入，并将其添加到Transformer输入中的主体词嵌入中。为了获得这些编辑嵌入，我们提出了优化然后抑制融合方法，该方法首先优化编辑目标的可学习嵌入向量，然后抑制知识嵌入维度（KEDs）以获得最终的编辑嵌入。因此，我们提出了SWEA$\oplus$OS方法来编辑LLMs中的事实知识。我们在CounterFact和zsRE数据集上展示了SWEA$\oplus$OS的整体最先进的（SOTA）性能。为了进一步验证SWEA$\oplus$OS在编辑知识方面的推理能力，我们在更复杂的RippleEdits基准上对其进行评估。结果表明，SWEA$\oplus$OS具备SOTA推理能力。