arXiv:2502.07957v1 宣布类型: 新 摘要: 尽管近期研究表明在对比语言图像预训练（CLIP）框架下训练的语言视觉模型包含固有的社会偏见，但不同上游预训练特征如何与这些偏见相关联，以及因此固有偏见与下游性能之间的关系尚不清楚。在此项工作中，我们进行了迄今为止最为全面的分析，探讨CLIP模型的上游预训练因素与其固有偏见以及下游性能之间的关系。我们研究了131个独特的CLIP模型，这些模型在26个数据集上进行了训练，使用了55种架构，并且在不同规模下进行培训。我们使用26种已建立的一模性和跨模态原则嵌入关联测试来评估每个模型的偏见。我们发现，预训练数据集的选择是最显著的上游预测因子，而架构变化的影响微乎其微。此外，使用复杂筛选技术精心选择的旨在提高下游模型性能的数据库通常与较高的固有偏见水平相关联。最后，我们观察到，固有偏见通常与下游性能显著相关（$0.3 \leq r \leq 0.8$），表明为了优化性能而优化的模型无意中学会了放大表示偏见。一模性和跨模态关联测试之间的比较表明，社会群体偏见在很大程度上依赖于模态。我们的发现表明，需要更 sophisticated 的策略来解决整个模型开发管道中语言视觉模型的固有模型偏见问题。