LLM2D
AUTALIC:一个关于语境中反自闭症歧视性语言的数据集
AUTALIC: A Dataset for Anti-AUTistic Ableist Language In Context
作者: Naba Rizvi, Harper Strickland, Daniel Gitelman, Tristan Cooper, Alexis Morales-Flores, Michael Golden, Aekta Kallepalli, Akshat Alurkar, Haaset Owens, Saleha Ahmedi, Isha Khirwadkar, Imani Munyaka, Nedjma Ousidhoum
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16520v1

摘要

随着我们对自闭症和歧视残疾人的观念的理解不断加深,我们对针对自闭症人士的歧视性语言的理解也随之加深。由于这种语言的微妙性和依赖语境的特点,它对自然语言处理 (NLP) 研究提出了重大挑战。然而,检测反自闭症歧视性语言的研究仍然不足,现有的 NLP 工具往往无法捕捉其细微的表达方式。我们提出了 AUTALIC,这是第一个专门用于检测语境中反自闭症歧视性语言的基准数据集,填补了该领域的重大空白。该数据集包含从 Reddit 收集的 2400 个与自闭症相关的句子,并附有周围语境,由具有神经多样性背景的训练有素的专家进行标注。我们全面的评估表明,包括最先进的大型语言模型 (LLM) 在内的当前语言模型难以可靠地识别反自闭症歧视行为并与人类判断保持一致,这突出了它们在该领域的局限性。我们公开发布 AUTALIC 及其个体标注,作为研究歧视残疾人、神经多样性和标注任务中分歧问题的研究人员的宝贵资源。该数据集是朝着开发更具包容性和语境感知能力的 NLP 系统迈出的重要一步,这些系统能够更好地反映不同的观点。