LLM2D
不同标准下的不同偏差:基于事实的方法评估大型语言模型中的偏差
Different Bias Under Different Criteria: Assessing Bias in LLMs with a Fact-Based Approach
作者: Changgeon Ko, Jisu Shin, Hoyun Song, Jeongyeon Seo, Jong C. Park
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17338v1

摘要

大型语言模型(LLM)通常反映现实世界中的偏见,因此人们努力减轻这些影响并使模型变得无偏见。实现这一目标需要为无偏状态定义明确的标准,任何偏离这些标准的行为都被认为是有偏见的。一些研究将无偏状态定义为对不同人口群体进行平等对待,旨在使LLM的输出保持平衡。然而,对平等和多元化重要性的不同观点使得建立普遍标准极具挑战性。或者,其他方法建议使用基于事实的标准进行更一致和客观的评估,尽管这些方法尚未完全应用于LLM偏见评估。因此,需要一个具有客观标准的指标,提供不同于基于平等方法的视角。基于这一需求,我们引入了一种新的指标,使用基于事实的标准和现实世界统计数据来评估偏见。在本文中,我们进行了一项人类调查,证明当LLM输出与现实世界的人口分布密切吻合时,人们往往对其评价更高。使用我们提出的指标评估各种LLM表明,模型偏见取决于所使用的标准,这突显了多视角评估的必要性。