摘要
arXiv:2504.18046v1 交叉公告类型:
摘要:眼科疾病是全球公共卫生的一个重大挑战,然而,传统的诊断方法以及现有的单眼深度学习方法往往未能考虑到双眼病理相关性。为了解决这一问题,我们提出了DMS-Net,一种用于双眼视网膜图像分类的双模态多尺度Siamese网络。我们的框架利用共享权重的Siamese ResNet-152骨干网络从配对视网膜图像中提取深度语义特征。为了解决边界模糊不清的病变和病理性分布分散等挑战,我们引入了一个多尺度上下文感知模块(MSCAM),该模块结合了自适应池化和注意力机制进行多分辨率特征聚合。此外,我们设计了一个双模态特征融合(DMFF)模块,通过空间语义校准和双向注意力增强跨模态交互,有效结合了全局上下文和局部边缘特征。在ODIR-5K数据集上,DMS-Net实现了最先进的性能,准确率为80.5%,召回率为86.1%,科恩κ系数为83.8%,证明了其在检测对称性病理变化和推动眼疾临床决策方面具有优越的能力。