LLM2D
SeLIP:相似性增强的对比语言图像预训练多模态头部MRI
SeLIP: Similarity Enhanced Contrastive Language Image Pretraining for Multi-modal Head MRI
作者: Zhiyang Liu, Dong Yang, Minghao Zhang, Hanyu Sun, Hong Wu, Huiying Wang, Wen Shen, Chao Chai, Shuang Xia
发布日期: 3/26/2025
arXiv ID: oai:arXiv.org:2503.19801v1

摘要

arXiv:2503.19801v1 公告类型:跨领域 摘要:尽管深度学习(DL)方法在许多医学图像分析任务中展示了巨大的潜力,但由于缺乏足够的带有手动标注的数据样本,医学DL模型的实际应用受到限制。鉴于临床放射学检查与描述图像的放射学报告相关,我们提出了一种利用对比学习方法开发多模态头颅MRI基础模型的方法。特别地,提出了一种对比学习框架,其中集成了混合语法和语义相似性匹配度量来减少传统对比学习框架中对极端大规模数据集的需求。我们提出的增强相似性的对比语言图像预训练(SeLIP)能够有效提取更多有用的特征。实验表明,我们提出的SeLIP在包括图像-文本检索任务、分类任务和图像分割在内的多个下游任务中表现良好,强调了在开发医学图像基础模型时考虑描述不同图像的文字之间的相似性的重要性。