LLM2D
BMIKE-53: 跨语言知识编辑研究——基于上下文的学习方法
BMIKE-53: Investigating Cross-Lingual Knowledge Editing with In-Context Learning
作者: Ercong Nie, Bo Shao, Zifeng Ding, Mingyang Wang, Helmut Schmid, Hinrich Sch\"utze
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2406.17764v2

摘要

arXiv:2406.17764v2 交叉类型:替换 摘要:本文介绍了BMIKE-53,这是一个跨语言上下文知识编辑(IKE)基准,涵盖了53种语言,统一了三个知识编辑(KE)数据集:zsRE、CounterFact和WikiFactDiff。跨语言KE需要在一种语言中编辑的知识能够跨其他语言泛化,同时保留无关知识,这一领域仍然存在不足。为解决这一问题,我们系统地在零 shot、一 shot 和少 shot 设置下评估了IKE,并引入了定制化的度量特定示范。我们的研究发现,模型规模和示范对齐对跨语言IKE的有效性至关重要,较大的模型和定制化的示范能显著提高性能。语言特性,尤其是书写系统类型,强烈影响不同语言之间性能的变化,非拉丁语言由于语言混淆等问题表现较差。