LLM2D
基于CLIP的基金会模型在X射线图像分类中的公平性分析
Fairness Analysis of CLIP-Based Foundation Models for X-Ray Image Classification
作者: Xiangyu Sun, Xiaoguang Zou, Yuanquan Wu, Guotai Wang, Shaoting Zhang
发布日期: 2/3/2025
arXiv ID: oai:arXiv.org:2501.19086v1

摘要

arXiv:2501.19086v1 交叉类型: 摘要: X射线成像是医学诊断中的关键工具,提供了对各种健康状况的无创洞察。最近,视觉-语言模型,如对比语言-图像预训练(CLIP)模型,展示了通过利用大规模图像-文本数据集改进诊断准确性的潜力。然而,由于CLIP最初并非设计用于医学图像,因此开发了一些专门针对医学图像训练的类似于CLIP的模型。尽管这些模型在性能上有所提升,但关于公平性问题——特别是涉及人口统计属性的问题——仍未得到充分解决。在本研究中,我们对应用于X射线图像分类的类似于CLIP的模型进行了全面的公平性分析。我们通过零样本推理和多种微调技术(包括线性探针、多层感知机(MLP)、低秩适应(LoRA)和全面微调)对其在不同患者人口统计学和疾病类别中的性能和公平性进行了评估。结果表明,虽然微调可以提高模型准确性,但公平性问题依然存在,强调了在这些基础模型中进一步实施公平性干预措施的必要性。