LLM2D
不完备多模态生存预测的提炼提示学习
Distilled Prompt Learning for Incomplete Multimodal Survival Prediction
作者: Yingxue Xu, Fengtao Zhou, Chenyu Zhao, Yihui Wang, Can Yang, Hao Chen
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2503.01653v2

摘要

arXiv:2503.01653v2 类型: replace-cross 摘要:多模态数据的整合,包括病理图像和基因档案,广泛应用于精确生存预测。尽管在多模态生存模型方面取得了最近的进展,但为多模态融合收集完整模态依然面临重大挑战,阻碍了其在临床环境中的应用。当前处理不完整模态的方法往往效果有限,因为它们通常只能弥补缺失模态知识的一小部分。为了解决这个问题,我们提出了一种提炼提示学习框架(DisPro),利用大型语言模型(LLMs)对缺失模态的强健稳定性,该框架采用两阶段提示来补充缺失模态的全面信息。在第一阶段,单模态提示(UniPro)提取每个模态的知识分布,为后续阶段补充缺失模态的模态特定知识做准备。在第二阶段,多模态提示(MultiPro)利用可用模态作为提示,让LLMs推断缺失模态,提供模态通用信息。同时,第一阶段获得的单模态知识被注入到多模态推理中,以补充缺失模态的模态特定知识。广泛的实验证明了所提出方法的优势。代码可在https://github.com/Innse/DisPro获得。