LLM2D
DRIM:从不完整的多模态医疗数据中学习 disentangled 表征
DRIM: Learning Disentangled Representations from Incomplete Multimodal Healthcare Data
作者: Lucas Robinet, Ahmad Berjaoui, Ziad Kheil, Elizabeth Cohen-Jonathan Moyal
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.17055v1

摘要

现实生活中,医疗数据通常是多模态且不完整的,这加剧了对能够有效整合这些数据的先进深度学习模型的需求。使用各种模态,包括组织病理学切片、MRI 和遗传数据,为改善预后预测和揭示新的治疗途径提供了前所未有的机会。对比学习广泛用于从多模态任务中的配对数据中推导出表示,假设不同的视图包含相同的与任务相关的的信息,并且仅利用共享信息。当处理医疗数据时,这种假设变得具有限制性,因为每种模态也包含与下游任务相关的特定知识。我们引入了 DRIM,这是一种新的多模态方法,用于捕获这些共享和独特表示,即使数据稀疏也是如此。更具体地说,给定一组模态,我们的目标是为每个模态编码一个表示,该表示可以分为两个部分:一个封装跨模态的患者相关信息,另一个封装模态特异性细节。这是通过增加不同患者模态之间的共享信息,同时最小化每个模态内共享和独特组件之间的重叠来实现的。我们的方法在胶质瘤患者生存预测任务中优于最先进的算法,同时对缺失模态具有鲁棒性。为了促进可重复性,代码已在 https://github.com/Lucas-rbnt/DRIM 上公开提供。