摘要
现实世界中的医疗数据通常是多模态且不完整的,这推动了对能够有效整合这些数据的先进深度学习模型的需求日益增长。使用多种模态,包括组织病理学切片、MRI 和遗传数据,为改善预后预测和揭示新的治疗途径提供了前所未有的机会。对比学习广泛用于从多模态任务中的配对数据中推导出表示,假设不同的视图包含相同的任务相关信息,并且只利用共享信息。当处理医疗数据时,这种假设变得限制性,因为每种模态也包含与下游任务相关的特定知识。我们介绍了 DRIM,这是一种新的多模态方法,用于捕获这些共享和独特的表示,尽管数据稀疏。更具体地说,给定一组模态,我们的目标是为每个模态编码一个表示,该表示可以分为两个部分:一个封装跨模态的患者相关信息,另一个封装模态特异性细节。这是通过增加不同患者模态之间的共享信息,同时最小化每个模态内共享和唯一组件之间的重叠来实现的。我们的方法在胶质瘤患者生存预测任务中优于最先进的算法,同时对缺失模态具有鲁棒性。为了促进可重复性,代码已在 https://github.com/Lucas-rbnt/DRIM 上公开提供。