LLM2D
公平PIVARA:减少和评估基于CLIP的多模态模型中的偏差
FairPIVARA: Reducing and Assessing Biases in CLIP-Based Multimodal Models
作者: Diego A. B. Moreira, Alef Iury Ferreira, Gabriel Oliveira dos Santos, Luiz Pereira, Jo\~ao Medrado Gondim, Gustavo Bonil, Helena Maia, N\'adia da Silva, Simone Tiemi Hashiguti, Jefersson A. dos Santos, Helio Pedrini, Sandra Avila
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.19474v1

摘要

尽管视觉语言模型取得了重大进展并得到广泛应用,但很少有研究关注其伦理影响。这些模型通常需要大量训练数据,这些数据往往来自仓促审查的文本和图像数据集,导致数据集高度不平衡,并引发伦理问题。此外,最初用英语训练的模型经常被微调用于其他语言,例如 CLIP 模型,该模型可以通过更多数据进行扩展以增强功能,但可能会引入新的偏差。CAPIVARA 是一个基于 CLIP 的模型,已适应葡萄牙语,在零样本任务中表现出色。在本文中,我们评估了视觉语言模型中的四种不同类型的歧视性做法,并引入了 FairPIVARA,这是一种通过去除特征嵌入中最受影响的维度来减少歧视性做法的方法。FairPIVARA 的应用导致观察到的偏差显著减少,最高可达 98%,同时促进了模型中更平衡的词语分布。我们的模型和代码可在以下地址获得:https://github.com/hiaac-nlp/FairPIVARA。