摘要
arXiv:2504.13037v1 Announce Type: cross
摘要:心脏磁共振成像是无创心脏评估的金标准,提供了丰富的时空心脏解剖和生理视图。患者的健康因素,如人口统计学、代谢和生活方式,已知会对心血管健康和疾病风险产生显著影响,但目前这些因素仅凭CMR无法捕捉。为了全面了解心脏健康并能够对个体疾病风险进行最佳解读,必须在集成框架中同时利用CMR和患者级别的因素。近期的多模态方法已经开始弥合这一差距,但它们通常依赖于有限的时空数据,并集中于孤立的临床任务,从而阻碍了心脏健康评估全面表示的发展。为了克服这些限制,我们引入了ViTa,这是一条通向基础模型的道路,它提供了一个全面的心脏表示和个体疾病风险的精确解读。利用英国生物银行42,000名参与者的数据,ViTa结合了短轴和长轴视图的3D+T心脏流动堆栈,使心脏周期的完整捕捉成为可能。然后将这些影像数据与详细的患者级别因素相结合,实现上下文感知的洞察。这种多模态范式支持一系列下游任务,包括心脏表型和生理特征的预测、心脏和代谢疾病的分割和分类,这一切都在一个统一的框架内进行。通过对丰富的影像特征和患者上下文进行学习,ViTa超越了传统的特定任务模型,朝向一种普遍的、针对患者的心脏健康理解,突显了其在心脏分析中的潜在临床效用和可扩展性。