LLM2D
基于视觉-语言模型的语义导向影像生物标志物用于早期肺癌检测
Vision-Language Model-Based Semantic-Guided Imaging Biomarker for Early Lung Cancer Detection
作者: Luoting Zhuang, Seyed Mohammad Hossein Tabatabaei, Ramin Salehi-Rad, Linh M. Tran, Denise R. Aberle, Ashley E. Prosper, William Hsu
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.21344v1

摘要

arXiv:2504.21344v1 交叉类型:公告 摘要:目标:许多机器学习模型利用语义特征、深层特征或两者来评估肺结节恶性程度。然而,在推断过程中依赖手动注释、可解释性受限以及对影像变异的敏感性阻碍了这些模型在实际临床环境中的应用。因此,本研究旨在集成放射科医生对结节评估中提取的语义特征,使模型能够学习临床相关、稳健且可解释的特征,用于预测肺癌。方法:我们使用来自国家肺癌筛查试验的938个低剂量CT扫描数据,其中包含1,246个结节和语义特征。肺影像数据库联盟数据集包含了1,018个CT扫描,其中2,625个病灶标注了结节特征。我们从UCLA Health、LUNGx 挑战赛和杜克肺癌筛查获得了三个外部数据集。我们使用参数高效微调方法对预训练的对比语言-图像预训练模型进行微调,以对齐影像和语义特征,并预测一年后的肺癌诊断结果。结果:我们使用AUROC和AUPRC评估了一年肺癌诊断性能,并与三个最先进的模型进行了比较。我们的模型在外部数据集上表现出0.90的AUROC和0.78的AUPRC,超越了基线最先进的模型。通过使用CLIP,我们还获得了结节边缘(AUROC:0.81)、结节一致性(0.81)和胸膜附着(0.84)等语义特征的预测,这些特征可以用于解释模型预测。结论:我们的方法准确地将肺结节分类为良性或恶性,提供可解释的输出,帮助临床医生理解模型预测的底层含义。这种方法还防止模型学习捷径,并且可以在不同临床环境中泛化。