摘要
arXiv:2502.02072v1 交叉公告类型
摘要:大规模语言模型(LLMs)的快速进化已经改变了自然语言处理,但其部署和使用过程中存在固有的偏见问题,尤其是在多种语言和文化背景下。本文提出了一个名为ASCenD BDS(可适应、随机性和情境感知框架,用于检测偏见、歧视和刻板印象)的框架。该框架提供了一种检测各种类别(如性别、种姓、年龄、残疾、经济和社会地位、语言变体等)中的偏见、歧视和刻板印象的方法,这种方法是可适应的、随机的和情境感知的。现有的框架高度依赖于使用数据集来生成检测偏见、歧视和刻板印象的场景。这些数据集包括Civil Comments、Wino Gender、WinoBias、BOLD、CrowS Pairs和BBQ等。然而,这种方法只能提供点解决方案。因此,这些数据集提供了有限数量的评估场景。当前的框架通过具备适应性、随机性和情境感知的特性,克服了这一局限性。情境感知可以针对任何国家或文化或亚文化(例如组织的独特文化)进行定制。在本文中,针对印地语境中的情境感知进行了研究。内容引用了2011年印度人口普查中的分类进行了归一化。通过使用类别、子类别、STEM、X因子和同义词,开发了一个框架以实现适应性、随机性和情境感知的特性。该框架在第3节中详细描述。由圣狐狸咨询有限公司的顾问团队开发了800多个STEM、10个类别和31个独特子类别。该概念在圣狐狸实验室的产品开发中进行了测试。