LLM2D
伪造以至做到:利用合成数据和领域知识以改进基于文本的学习用于LGE检测
Fake It Till You Make It: Using Synthetic Data and Domain Knowledge for Improved Text-Based Learning for LGE Detection
作者: Athira J Jacob, Puneet Sharma, Daniel Rueckert
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2502.12948v1

摘要

arXiv:2502.12948v1 Announce Type: cross Abstract: 从心脏LGE MRI图像中检测超增强是一个需要大量临床专业知识的任务。尽管基于深度学习的模型在该任务上显示出有希望的结果,但它们需要大量具有精细注释的数据。为心脏MR研究生成的临床报告中包含丰富的临床相关信息,包括任何瘢痕的部位、范围和病因。尽管最近开发的基于CLIP的方法能够使用图像-文本对进行预训练,但它也要求大量数据和进一步的微调策略。在本研究中,我们利用源于领域知识的各种策略,仅使用临床报告中的文本对965名患者的相对较小的临床队列进行LGE检测模型的训练。我们通过合成数据增强来提高性能,系统地创建了瘢痕图像及其相关文本。此外,我们以解剖学为基础标准化图像的方向,以促进空间和文本特征的更好对齐。我们还使用描述性损失使细粒度监督成为可能,并探索视觉编码器预训练对性能的影响。最后,我们进行了消融研究,以阐明每个设计组件对模型整体性能的贡献。