LLM2D
注意语言差距:针对高低资源语言的 LLMS 中偏差的自动化和增强评估
Mind the Language Gap: Automated and Augmented Evaluation of Bias in LLMs for High- and Low-Resource Languages
作者: Alessio Buscemi, C\'edric Lothritz, Sergio Morales, Marcos Gomez-Vazquez, Robert Claris\'o, Jordi Cabot, German Castignani
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.18560v1

摘要

arXiv:2504.18560v1 宣布类型: cross 摘要:大规模语言模型(LLMs)展示了令人印象深刻的自然语言处理能力,但常常会在训练数据中固有的社会偏见上延续这些偏见。为了解决这一问题,我们提出了多语言增强偏见测试(MLA-BiTe)框架,该框架通过支持系统化的多语言偏见测试来改进先前的偏见评估方法。MLA-BiTe 利用自动翻译和改写技术,在多样的语言环境中进行全面评估。在本研究中,我们通过使用四种最先进的 LLM 在六种语言(包括两种低资源语言)中进行测试,重点关注七类敏感的歧视类别,来评估 MLA-BiTe 的有效性。