LLM2D
一次编辑,全局更新:LLM 中跨语言知识同步的简单框架
Edit Once, Update Everywhere: A Simple Framework for Cross-Lingual Knowledge Synchronization in LLMs
作者: Yuchen Wu, Liang Ding, Li Shen, Dacheng Tao
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14645v1

摘要

arXiv:2502.14645v1 交叉类型:cross 摘要:知识编辑允许高效地将大型语言模型(LLMs)适应新的信息或更正,而无需进行全面重新训练。然而,先前的方法通常仅专注于单语言编辑或基本的多语言编辑,未能实现真正的跨语言知识同步。为了解决这一问题,我们提出了一种简单且实用的最新方法Cross-Lingual Knowledge Democracy Edit (X-KDE),旨在有效地将主导语言的知识传播到其他语言。我们的X-KDE包含两个阶段:(i) Cross-lingual Edition Instruction Tuning (XE-IT),该方法在精心策划的平行数据集上对模型进行微调,以修改范围内的知识同时保留与任务无关的信息,以及(ii) Target-language Preference Optimization (TL-PO),该方法采用高级优化技术以确保跨语言的一致性,促进更新的传递。此外,我们贡献了一个高质量的跨语言数据集,专门设计以增强跨语言知识传递。在Bi-ZsRE和MzsRE基准上的 extensive 实验显示,X-KDE 显著提高了跨语言性能,平均提高了 +8.19% 的性能,同时在单语言设置中保持了高准确性。