arXiv:2505.00568v1 公告类型：交叉 摘要：多模态磁共振成像（MRI）是临床医生在脑肿瘤护理中的首要研究工具，为手术规划、治疗监测和生物标志物识别提供了关键见解。在大型数据集上的预训练已被证明有助于模型学习可迁移的表示，并且在少量标注数据的情况下能够适应。这种行为在医学成像中尤其有价值，因为标注数据通常较少。然而，将这一范式应用于多模态医学数据带来了挑战：大多数现有方法假设所有成像模态在预训练和微调过程中都是可用的。实际上，由于获取问题、专家不可用或针对小型机构内数据集的具体实验设计，缺失的模态经常出现。因此，一种常见的方法是为每种期望的模态组合训练一个独立的模型，这使得过程既资源密集又不适用于临床使用。因此，我们介绍了一种名为BM-MAE的掩模图像建模预训练策略，专门针对多模态MRI数据进行设计。同一个预训练模型可以无障碍地适应任何可用模态的组合，提取丰富的表示，同时捕捉到模态内外的信息。这使得可以在任何子集的模态上进行微调，不需要对架构进行更改，同时仍然受益于在完整模态集合上进行预训练的模型。广泛的经验表明，所提出的预训练策略在一些下游任务中优于或与需要为每个模态子集独立预训练的基线模型保持竞争力，同时在几个下游任务上从头开始训练明显表现更优。此外，它可以快速且高效地重建缺失的模态，突显了其实用价值。代码和训练模型可在以下链接获取：https://github.com/Lucas-rbnt/bmmae