LLM2D
生物物理景观特征的多模态融合策略
Multimodal Fusion Strategies for Mapping Biophysical Landscape Features
作者: Lucia Gordon, Nico Lang, Catherine Ressijac, Andrew Davies
发布日期: 10/8/2024
arXiv ID: oai:arXiv.org:2410.04833v1

摘要

多模态航空数据被用于监测自然系统,机器学习可以显著加速此类图像中景观特征的分类,从而有利于生态和保护。然而,这些多种模式如何在深度学习模型中融合仍然未得到充分探索。作为填补这一空白的一步,我们研究了三种融合策略(早期融合、后期融合和专家混合)来融合热成像、RGB 和 LiDAR 图像,使用这些三种模式下空间对齐的正射影像数据集。特别是,我们旨在绘制非洲稀树草原生态系统中三个生态相关的生物物理景观特征:犀牛粪堆、白蚁丘和水体。这三种融合策略的不同之处在于模式是早期融合还是后期融合,如果是后期融合,模型是为每个类别学习每个模式的固定权重,还是根据输入自适应地为每个类别生成权重。总体而言,三种方法的宏观平均性能相似,后期融合的 AUC 为 0.698,但它们的每类性能差异很大,早期融合在粪堆和水体方面取得了最佳召回率,而专家混合在丘陵方面取得了最佳召回率。