摘要
医疗技术的快速发展导致了多模态医疗数据的指数级增长,包括影像学、基因组学和电子健康记录 (EHR)。图神经网络 (GNN) 因其在捕获成对关系方面的突出性能而被广泛用于表示这些数据。然而,多模态医疗数据的异质性和复杂性仍然对标准 GNN 构成了重大挑战,这些 GNN 在学习更高阶的非成对关系方面存在困难。本文提出了 GAMMA-PD(基于图的多模态帕金森病运动障碍评估分析),这是一种用于多模态临床数据分析的新型异构超图融合框架。GAMMA-PD 通过保留患者特征和症状亚型之间的更高阶信息和相似性,将影像数据和非影像数据整合到“超网络”(患者群体图)中。我们还设计了一种基于特征的注意力加权机制来解释特征级对下游决策任务的贡献。我们在帕金森病进展标记物计划 (PPMI) 的临床数据和一个私有数据集上评估了我们的方法。我们证明了在预测帕金森病运动障碍症状方面的收益。我们的端到端框架还学习了患者特征子集之间的关联,以生成与临床相关的疾病和症状特征解释。源代码可在 https://github.com/favour-nerrise/GAMMA-PD 获取。