LLM2D
Libra:利用时间序列图像进行生物医学放射分析
Libra: Leveraging Temporal Images for Biomedical Radiology Analysis
作者: Xi Zhang, Zaiqiao Meng, Jake Lever, Edmond S. L. Ho
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2411.19378v2

摘要

arXiv:2411.19378v2 通知类型: 替换-交叉 摘 要:放射学报告生成(RRG)需要先进的医学影像分析、有效的时序推理和准确的文字生成。尽管多模态大型语言模型(MLLMs)与预训练的视觉编码器对齐以增强视觉语言理解,但大多数现有方法依赖于单张图片分析或基于规则的启发式方法来处理多张图片,未能充分利用多模态医学数据集中的时间信息。在本文中,我们介绍了Libra,一种针对胸部X光报告生成的时间感知MLLM。Libra结合了一个放射学专用的图像编码器和一个新颖的时间对齐连接器(TAC),设计用于准确捕捉和整合配对当前和历史图片之间的时间差异。在MIMIC-CXR数据集上的大量实验表明,Libra在与之规模相当的MLLM中建立了新的基准,不仅在临床相关性方面,在词法准确性方面也设立了新的标准。