摘要
arXiv:2411.05261v2 通知类型: 交叉替换
摘要:尽管在自动化报告生成方面取得了显著进展,文本可解释性的不透明性仍然对生成内容的可靠性产生质疑。本文介绍了一种新的方法,用于识别影响报告生成模型输出的X射线图像中的特定图像特征。具体而言,我们提出了Cyclic Vision-Language Manipulator (CVLM) 模块,该模块能够从原始X射线及其报告生成一个被操控的X射线,并且该报告由一个指定的报告生成器生成。CVLM的本质在于,将操控后的X射线循环输入报告生成器,生成与提前注入到X射线生成报告中的改动相匹配的报告,实现“循环操控”这一术语。这一过程允许直接对比原始和操控后的X射线,阐明驱动报告变化的关键图像特征,并帮助模型使用者评估生成文本的可靠性。实证评估表明,CVLM能够比现有的解释方法更准确地识别出更可靠的特征,显著增强了AI生成报告的透明度和适用性。