LLM2D
人人可用的大型语言模型:为大型语言模型中的弱势群体发声
LLM for Everyone: Representing the Underrepresented in Large Language Models
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2409.13897v1

摘要

自然语言处理(NLP)领域见证了大型语言模型(LLMs)在众多任务中的显著影响。然而,LLMs在多语言环境中的局限性,特别是在代表性不足的语言中,仍然是一个重大障碍。本论文旨在通过聚焦于代表性不足的语言来弥合NLP研究和开发中的差距。对LLMs进行了全面评估,以评估其在这些语言中的能力,揭示了多语言和多文化泛化的挑战。针对多语言泛化差距,本论文提出了数据和计算高效的方法,以缓解LLMs在代表性不足语言中的能力差异,从而在不损失任务泛化能力的情况下更好地泛化代表性不足的语言。所提出的解决方案包括跨语言持续指令调优、基于检索的跨语言上下文学习以及上下文查询对齐。此外,提出了一种新颖的方法来衡量在不同语言中运行的LLMs之间的文化价值观对齐,确保文化敏感性和包容性。这些贡献旨在增强LLMs在代表性不足语言中的多语言和多文化对齐,最终推动NLP领域朝着更大的平等和包容性发展。