arXiv:2505.00568v2 通知类型: 交叉替换 摘要：多模态磁共振成像（MRI）是临床医生在治疗脑肿瘤时首先进行的研究，为手术规划、治疗监测和生物标志物识别提供了关键的见解。在大规模数据集上的预训练已被证明有助于模型学习可转移的表示，并且在最少有标签数据的情况下适应。在医疗成像中，这种行为特别有价值，因为注释通常稀缺。然而，将这种范式应用于多模态医疗数据引入了一个挑战：现有大多数方法假设所有成像模态在预训练和微调期间都可用。在实践中，模态数据缺失往往由于采集问题、专家不可用或小规模内部数据集的特定实验设计所引起。因此，一个常见的方法是为每种所需的模态组合训练一个单独的模型，这使得过程既资源密集，也不适用于临床使用。因此，我们介绍了BM-MAE，一种针对多模态MRI数据的掩码图像建模预训练策略。同一预训练模型能无缝适应任何可用模态的组合，提取丰富的表示，既能捕捉到模态内的信息，又能捕捉到模态间的信息。这使得可以在任意子集的模态上进行微调而无需架构上的更改，同时仍能够从完整组合模态的预训练模型中受益。大量的实验证明，所提出的方法在几乎所有下游任务中都优于或与需要为每个模态子集单独预训练的基线保持竞争力，同时在某些下游任务上显著优于从头开始训练。此外，它能够快速高效地重建缺失的模态，突显了其实用价值。代码和训练模型可在以下网址获取：https://github.com/Lucas-rbnt/BM-MAE