arXiv:2410.06331v3 通告类型: replace-cross 摘要：定位-编辑范式在大型语言模型（LLMs）的知识编辑（KE）中显示出了显著的潜力。尽管以前的方法在单跳事实回忆任务上表现良好，但在涉及新编辑知识的多跳事实回忆任务中却一直表现不佳。在本文中，利用机制可解释性工具，我们首先发现，在多跳任务中，LLMs往往会从较深的MLP层中检索具有隐式主语信息的知识，而在单跳任务中，则依赖于浅层结构。这一区别解释了当前方法在多跳查询中的表现不佳，因为它们主要集中在使用单跳编辑提示编辑浅层结构，而让更深的层保持不变。为解决这个问题，我们提出了一种新的定位-编辑KE方法IFMET，旨在编辑浅层和深层MLP层。IFMET进一步引入了多跳编辑提示，以在推理的不同阶段定位和修改知识。实验结果表明，IFMET显著提高了在多跳事实回忆任务上的表现，克服了之前定位-编辑方法的局限性。