LLM2D
超越传统变压器:用于改进多标签诊断的知识蒸馏医学X射线注意力(MXA)模块
Beyond Conventional Transformers: The Medical X-ray Attention (MXA) Block for Improved Multi-Label Diagnosis Using Knowledge Distillation
作者: Amit Rand, Hadi Ibrahim
发布日期: 4/4/2025
arXiv ID: oai:arXiv.org:2504.02277v1

摘要

arXiv:2504.02277v1 交叉通知类型 摘要:医学成像,特别是X射线分析,常常需要在同一扫描中同时检测多种状况,因此多标签分类对于实际临床应用至关重要。我们提出了医疗X射线注意力(MXA)模块,这是一种专门针对X射线异常检测的独特挑战而设计的新颖注意力机制。MXA模块增强了传统的多头自我注意力(MHSA),通过集成一个能够高效捕获详细局部信息和更广泛的全局上下文的专门模块。据我们所知,这是首次提出专门用于诊断胸部X射线的任务注意力机制,以及尝试使用高效视觉变换器(EfficientVision Transformer,EfficientViT)进行多标签分类的工作。通过将MXA模块嵌入EfficientViT架构并采用知识蒸馏,我们提出的模型在广泛用于多标签胸部X射线异常检测基准测试的CheXpert数据集上显著提升了性能。我们的方法在曲线下面积(AUC)方面达到了0.85,与基线模型的AUC(0.66)相比,绝对提高了0.19,相当于随机猜测(AUC = 0.5)相对改进约233%。