LLM2D
K-编辑:具有上下文知识意识的语言模型编辑
K-Edit: Language Model Editing with Contextual Knowledge Awareness
作者: Elan Markowitz, Anil Ramakrishna, Ninareh Mehrabi, Charith Peris, Rahul Gupta, Kai-Wei Chang, Aram Galstyan
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.10626v1

摘要

arXiv:2502.10626v1 交叉类型的文章 摘要:随着世界的变化,我们需要能够更新我们的模型并更正错误信息而无需耗费成本的重新训练。基于知识的模型编辑能够对大型语言模型的权重进行精准修改,以修改其中编码的信息。最近的方法在极大地提高了一次进行数千次编辑的回忆能力方面取得了成功。然而,这些方法未能产生考虑到相关上下文信息的编辑。我们提出了K-Edit,一种生成上下文一致的知识编辑的有效方法。通过使用知识图谱,在编辑边时保持上下文一致性,我们能够生成额外的“上下文编辑”,以确保语言模型中相关信息的一致性。我们的实验显示,在保持模型编辑的一般有效性和可扩展性的同时,显著提高了多跳问题回答的性能。