LLM2D
Thrones之名:评估LLM对学生姓名、种族和性别在等级体系中排名的方式
Name of Thrones: Evaluating How LLMs Rank Student Names, Race, and Gender in Status Hierarchies
作者: Annabella Sakunkoo, Jonathan Sakunkoo
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2504.10797v1

摘要

arXiv:2504.10797v1 宣布类型: cross 摘要: 在不同的文化中,名字告诉了我们很多关于拥有者的信息,因为名字携带了深刻的人性和文化意义。名字还作为性别、种族和社会层级中地位的强大信号,在这种层级中,个人的位置影响了他人对其能力与价值的预期。随着大规模语言模型(LLM)的广泛应用,由于名字通常是LLM输入的一部分,评估LLM是否基于名字将人们排定在不同的地位等级上变得至关重要,如果存在这种情况,是否是以一种不公平、有偏见的方式。尽管早期的研究主要关注名字中的性别偏见,但很少有人注意到姓氏,更少有人关注姓氏与名字结合后的效果。在本研究中,我们对五个种族群体的名字变体进行了大规模分析,以考察AI中名字偏见的体现。我们的研究调查了不平等的三个关键特征,发现LLM反映了并强化了基于性别和种族信号的名字等级结构,这些名字编码了不同的能力、领导能力和经济潜力期望。不同于普遍认为AI倾向于偏爱白人,我们展示了东亚和在某些情况下南亚的名字获得更高的排名。我们还细化了亚洲人这一预计到2055年将成为美国最大移民群体的人口。我们的结果挑战了单一的亚洲模范少数族裔假设,描绘了一个更为复杂和分层的偏见模型。性别会调节偏见,女孩在某些种族群体中面临着不公平的劣势。此外,通过采用西方的名字跨越文化类别,对于东亚和东南亚学生而言,特别是对于女孩,AI对其地位的感知得到改善。我们的发现强调了在评估LLM时对种族、性别和混和身份进行交叉和更细致理解的重要性。