LLM2D
WorldView-Bench:评估大型语言模型全球文化视角的基准
WorldView-Bench: A Benchmark for Evaluating Global Cultural Perspectives in Large Language Models
作者: Abdullah Mushtaq, Imran Taj, Rafay Naeem, Ibrahim Ghaznavi, Junaid Qadir
发布日期: 5/15/2025
arXiv ID: oai:arXiv.org:2505.09595v1

摘要

arXiv:2505.09595v1 宣告类型: 交叉 摘要: 大型语言模型(LLMs)大多是以强化西方中心化知识论和社会文化规范的方式进行训练和对齐的,这导致了文化同质化,并限制了它们反映全球文明多样性的能力。现有的基准评估框架无法充分捕捉这种偏差,因为它们依赖于严格的、封闭形式的评估,忽视了文化包容性的复杂性。为了解决这一问题,我们引入了WorldView-Bench,这是一个旨在通过分析LLMs适应多种世界观的能力来评估全球文化包容性(GCI)的基准。我们的方法基于Senturk等人提出的Multiplex Worldview,它区分了单层模型,这些模型强化了文化同质化,以及多层模型,这些模型整合了多元视角。WorldView-Bench通过自由形式的生成评估来衡量文化极化,而不是传统的类别基准,从而测量了排斥替代视角的情况。我们通过两种干预策略实施了应用的多层性:(1) 上下文驱动的多层LLM,其中系统提示嵌入了多层原则,以及 (2) 多智能体系统(MAS)驱动的多层LLM,其中多个代表不同文化视角的LLM智能体协作生成回应。我们的结果显示,与基线相比,使用MAS驱动的多层LLM时视角分布得分(PDS)熵从13%显著增加到94%,同时情感倾向向正面偏向(67.7%)且文化平衡得到了增强。这些发现强调了多层性意识的AI评估在减轻LLMs中的文化偏差方面的潜力,为更具包容性和伦理对齐的AI系统的开发铺平了道路。