LLM2D
增强DeepLabV3+以融合航空和卫星图像进行语义分割
Enhancing DeepLabV3+ to Fuse Aerial and Satellite Images for Semantic Segmentation
作者: Anas Berka, Mohamed El Hajji, Raphael Canals, Youssef Es-saady, Adel Hafiane
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.22909v1

摘要

arXiv:2503.22909v1 宣告类型: 交叉 摘要: 航空和卫星图像本身是天然互补的遥感来源,提供了高分辨率的细节和广泛的地理覆盖范围。然而,使用这些来源进行土地覆盖分割引入了若干挑战,推动了各种分割方法的发展。在这些方法中,DeepLabV3+ 架构被认为是单源图像分割领域的有前途的方法之一。尽管其在分割方面具有可靠的性能,但仍需要提高其鲁棒性并改进其性能。这对于多模态图像分割尤为重要,因为在多模态图像分割中,不同类型的融合信息是必不可少的。 一种有趣的策略是通过集成新颖组件并修改某些内部过程来增强该架构框架。 在本文中,我们通过引入一种新的转置卷积层块来增强 DeepLabV3+ 架构,该块用于上采样第二个输入并将其与高级特征融合。该块旨在放大并整合卫星图像中的信息,从而通过与航空图像的融合丰富分割过程。 为了进行实验,我们使用了 LandCover.ai(基于航空图像的土地覆盖)数据集中的航空图像,以及来自 Sentinel 2 数据的相应数据集。 通过两者的融合,平均交并比(mIoU)达到了 84.91% 的总 mIoU,而没有使用数据增强。