LLM2D
面向心脏磁共振全面评估的视觉基础模型
Towards a vision foundation model for comprehensive assessment of Cardiac MRI
作者: Athira J Jacob, Indraneel Borgohain, Teodora Chitiboi, Puneet Sharma, Dorin Comaniciu, Daniel Rueckert
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01665v1

摘要

心磁共振成像(CMR)被认为是非侵入性心脏评估的金标准,是一种多样且复杂的模式,需要各种图像处理任务来全面评估心脏形态和功能。深度学习的进步使得能够开发出用于这些任务的最先进(SoTA)模型。然而,由于数据和标签稀缺,特别是较不常见的成像序列,模型训练具有挑战性。此外,每个模型通常针对特定任务进行训练,相关任务之间没有联系。在这项工作中,我们介绍了一个针对 CMR 评估训练的视觉基础模型,该模型以自监督的方式在 3600 万张 CMR 图像上进行训练。然后,我们以监督方式对模型进行了微调,以针对 CMR 工作流程中典型的 9 项临床任务,涵盖分类、分割、地标定位和病理检测。我们证明了在各种可用标记数据集大小上,所有任务的准确性和鲁棒性均有所提高。我们还展示了在标记样本更少的情况下,少样本学习有所改进,这是医学图像分析中的一个常见挑战。对于大多数临床任务,我们实现了与 SoTA 相当的开箱即用性能。因此,所提出的方法为 CMR 评估提供了一个资源高效的统一框架,有可能加速基于深度学习的图像分析任务解决方案的开发,即使只有少量带注释的数据可用。