LLM2D
缅甸语 XNLI:构建数据集并探索低资源自然语言推理方法
Myanmar XNLI: Building a Dataset and Exploring Low-resource Approaches to Natural Language Inference with Myanmar
作者: Aung Kyaw Htet, Mark Dras
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2504.09645v1

摘要

arXiv:2504.09645v1 Announce Type: cross 摘要:尽管自然语言处理(NLP)在最近取得了巨大进展,但将大型语言模型(LLM)应用于低资源语言仍然是一个主要挑战。这种挑战在跨语言自然语言推理(XNLI)基准中尤为明显,这是一个关键任务,它展示了跨15种语言的NLP系统的跨语言能力。在这篇论文中,我们将XNLI任务扩展至一个额外的低资源语言——缅语,并将其作为更广泛的低资源语言的代理挑战,并做出了三项核心贡献。首先,我们使用社区众筹方法构建了一个名为缅语XNLI(myXNLI)的数据集,作为现有XNLI语料库的扩展。这个过程包括社区构建的两个阶段,随后是专家验证;通过分析,我们展示了并量化了在低资源语言的社区构建背景下专家验证阶段的价值。我们为未来的研究将myXNLI数据集提供给社区。第二,我们在myXNLI基准上评估了最近的多语言语言模型,并探索了数据扩充方法以提高模型性能。我们使用的数据扩充方法在缅语上的模型准确率提高了2个百分点,同时提高了其他语言的表现。第三,我们研究了这些数据扩充方法在XNLI数据集中其他低资源语言上的泛化能力。