摘要
arXiv:2502.14645v1 交叉类型:cross
摘要:知识编辑允许高效地将大型语言模型(LLMs)适应新的信息或更正,而无需进行全面重新训练。然而,先前的方法通常仅专注于单语言编辑或基本的多语言编辑,未能实现真正的跨语言知识同步。为了解决这一问题,我们提出了一种简单且实用的最新方法Cross-Lingual Knowledge Democracy Edit (X-KDE),旨在有效地将主导语言的知识传播到其他语言。我们的X-KDE包含两个阶段:(i) Cross-lingual Edition Instruction Tuning (XE-IT),该方法在精心策划的平行数据集上对模型进行微调,以修改范围内的知识同时保留与任务无关的信息,以及(ii) Target-language Preference Optimization (TL-PO),该方法采用高级优化技术以确保跨语言的一致性,促进更新的传递。此外,我们贡献了一个高质量的跨语言数据集,专门设计以增强跨语言知识传递。在Bi-ZsRE和MzsRE基准上的 extensive 实验显示,X-KDE 显著提高了跨语言性能,平均提高了 +8.19% 的性能,同时在单语言设置中保持了高准确性。