arXiv:2407.02994v4公告类型: 替换-交叉 摘要：在医疗领域开发人工智能应用的兴趣日益增加，但由于缺乏高质量数据集，这一兴趣受到了阻碍，主要原因与隐私相关问题有关。此外，近年来大型多模态模型（LMM）的兴起促使需要多模态医疗数据集，其中临床报告和发现与相应的CT或MR扫描相关联。本文展示了构建MedPix 2.0数据集的整个工作流程。从广泛用于医生、护士和医疗保健学生继续医学教育的知名多模态数据集MedPix出发，开发了一个半自动流水线以提取视觉和文本数据，然后进行手动修复程序，删除噪声样本，从而创建了一个MongoDB数据库。除了数据集，我们还开发了一个GUI，旨在高效导航MongoDB实例，并获取可以直接用于训练和/或微调LMM的原始数据。为了强调这一点，我们还提出了一种基于CLIP的模型，该模型在MedPix 2.0上进行了训练，用于扫描模式和位置分类任务。MedPix 2.0可在GitHub上获取。