LLM2D
三模态交互网络:来自成像、临床和 radiomics 数据融合的慢性肝病预后
TMI-CLNet: Triple-Modal Interaction Network for Chronic Liver Disease Prognosis From Imaging, Clinical, and Radiomic Data Fusion
作者: Linglong Wu, Xuhao Shan, Ruiquan Ge, Ruoyu Liang, Chi Zhang, Yonghong Li, Ahmed Elazab, Huoling Luo, Yunbi Liu, Changmiao Wang
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.00695v1

摘要

arXiv:2502.00695v1 交叉类型:公告 摘要:慢性肝病是全球性的健康挑战,准确的预后评估对于制定个性化治疗计划至关重要。最近的证据表明,将多模态数据(如计算机断层扫描成像、 radiomics 特征和临床信息)结合起来可以提供更全面的预后信息。然而,这些模态具有固有的异质性,合并额外的模态可能会加剧异质性数据融合的挑战。此外,现有的多模态融合方法往往难以适应更丰富的医学模态,这使得捕捉跨模态关系变得困难。为克服这些限制,我们提出了三模态交互慢性肝网络(TMI-CLNet)。具体来说,我们开发了内部模态聚合模块和三模态交叉注意力融合模块,前者旨在消除内部模态冗余,后者旨在提取跨模态信息。此外,我们设计了一个三模态特征融合损失函数,以在模态间对齐特征表示。在肝脏预后数据集上的广泛实验表明,我们的方法在现有最先进的单模态模型以及其他多模态技术中表现出显著的优越性。我们的代码可在 https://github.com/Mysterwll/liver.git 获取。