LLM2D
MedMimic:基于医生灵感的多模态融合早期诊断不明原因发热
MedMimic: Physician-Inspired Multimodal Fusion for Early Diagnosis of Fever of Unknown Origin
作者: Minrui Chen, Yi Zhou, Huidong Jiang, Yuhan Zhu, Guanjie Zou, Minqi Chen, Rong Tian, Hiroto Saigo
发布日期: 2/10/2025
arXiv ID: oai:arXiv.org:2502.04794v1

摘要

arXiv:2502.04794v1 Announce Type: cross 摘要:原因不明的发热(FUO)仍然是一个诊断难题。MedMimic 作为一种受现实世界诊断过程启发的多模态框架被引入。它使用预训练模型如 DINOv2、Vision Transformer 和 ResNet-18 将高维的 18F-FDG PET/CT 影像转换为低维的、语义上有意义的特征。随后,一种可学习的基于自注意力的融合网络将这些影像特征与临床数据结合起来进行分类。使用2017年至2023年来自四川大学华西医院的416例FUO患者的病例,多模态融合分类网络MFCN在七个任务中获得了0.8654到0.9291的宏平均AUROC分数,优于传统机器学习方法和单模态深度学习方法。消融研究和五折交叉验证进一步验证了其有效性。通过结合预训练大模型和深度学习的优势,MedMimic提供了一种有前景的疾病分类解决方案。