摘要
放射学服务正在经历前所未有的需求,导致对放射学报告生成自动化越来越感兴趣。现有的视觉语言模型(VLMs)存在幻觉、缺乏可解释性和需要昂贵的微调等问题。我们介绍了 SAE-Rad,它使用稀疏自动编码器(SAEs)将来自预训练视觉转换器的潜在表示分解为人类可解释的特征。我们的混合架构结合了最先进的 SAE 进展,在保持稀疏性的同时实现了准确的潜在重构。使用现成的语言模型,我们将真实报告提炼成每个 SAE 特征的放射学描述,然后将这些描述编译成每个图像的完整报告,从而无需为该任务微调大型模型。据我们所知,SAE-Rad 代表了首次将机制可解释性技术明确用于下游多模态推理任务的案例。在 MIMIC-CXR 数据集上,SAE-Rad 在与最先进的模型相比时,实现了具有竞争力的放射学特定指标,同时在训练时使用的计算资源显著减少。定性分析表明,SAE-Rad 学习了有意义的视觉概念,并生成了与专家解释高度一致的报告。我们的结果表明,SAEs 可以增强医疗保健中的多模态推理,为现有的 VLMs 提供更具可解释性的替代方案。