摘要
arXiv:2407.10275v2 宣布类型: 替换-交叉
摘要:大型语言模型通常期望能够不断适应新的知识来源,知识编辑技术旨在以最小的修改高效地修补过时的模型知识。大多数先前的工作集中在英语的单语知识编辑上,尽管新的信息可能从世界上任何地方、任何语言中涌现出来。我们提出了跨语言多跳知识编辑范式,用于衡量和分析各种最先进的知识编辑技术在跨语言设置下的性能。具体来说,我们创建了一个平行跨语言基准——CROLIN-MQUAKE,用于衡量知识编辑能力。我们在各种知识编辑技术的广泛分析中发现了跨语言和以英语为中心设置之间的显著性能差距。在此之后,我们提出了一种显著改进的跨语言多跳知识编辑系统——CLEVER-CKE。CLEVER-CKE基于检索、验证和生成的知识编辑框架,其中形成了一种检索编辑事实的方法,以支持LLM遵循知识编辑。我们为这个框架中的跨语言和细粒度的事实检索与验证过程开发了语言感知和难否定样本为基础的对比目标,从而提高这些过程的性能。在三个LLM、八种语言和两个数据集上的 extensive 实验显示,CLEVER-CKE 在与先前方法相比时,性能有了高达30%的显著提升。