LLM2D
ASCenD-BDS: adaptable、stochastic和情境意识框架,用于偏见、歧视和刻板印象检测
ASCenD-BDS: Adaptable, Stochastic and Context-aware framework for Detection of Bias, Discrimination and Stereotyping
作者: Rajiv Bahl, Venkatesan N, Parimal Aglawe, Aastha Sarasapalli, Bhavya Kancharla, Chaitanya kolukuluri, Harish Mohite, Japneet Hora, Kiran Kakollu, Rahul Diman, Shubham Kapale, Sri Bhagya Kathula, Vamsikrishna Motru, Yogeshwar Reddy
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2502.02072v1

摘要

arXiv:2502.02072v1 交叉公告类型 摘要:大规模语言模型(LLMs)的快速进化已经改变了自然语言处理,但其部署和使用过程中存在固有的偏见问题,尤其是在多种语言和文化背景下。本文提出了一个名为ASCenD BDS(可适应、随机性和情境感知框架,用于检测偏见、歧视和刻板印象)的框架。该框架提供了一种检测各种类别(如性别、种姓、年龄、残疾、经济和社会地位、语言变体等)中的偏见、歧视和刻板印象的方法,这种方法是可适应的、随机的和情境感知的。现有的框架高度依赖于使用数据集来生成检测偏见、歧视和刻板印象的场景。这些数据集包括Civil Comments、Wino Gender、WinoBias、BOLD、CrowS Pairs和BBQ等。然而,这种方法只能提供点解决方案。因此,这些数据集提供了有限数量的评估场景。当前的框架通过具备适应性、随机性和情境感知的特性,克服了这一局限性。情境感知可以针对任何国家或文化或亚文化(例如组织的独特文化)进行定制。在本文中,针对印地语境中的情境感知进行了研究。内容引用了2011年印度人口普查中的分类进行了归一化。通过使用类别、子类别、STEM、X因子和同义词,开发了一个框架以实现适应性、随机性和情境感知的特性。该框架在第3节中详细描述。由圣狐狸咨询有限公司的顾问团队开发了800多个STEM、10个类别和31个独特子类别。该概念在圣狐狸实验室的产品开发中进行了测试。