摘要
arXiv:2504.07603v1 Announce Type: cross
摘要:当前的自动驾驶算法高度依赖可见光谱,在雾、雨、雪、强光和高对比度等不良条件下容易出现性能下降。尽管近红外(NIR)和长波红外(LWIR)等其他光谱波段在这些情况下可以增强视觉感知,但它们也存在局限性,缺乏大规模数据集和基准。短波红外(SWIR)成像相比NIR和LWIR具有诸多优势。然而,目前尚无公开的大规模数据集包括SWIR数据用于自动驾驶。为解决这一问题,我们引入了RGB和SWIR多光谱驾驶(RASMD)数据集,该数据集包含100,000个多光谱对齐的RGB-SWIR图像对,这些图像对在不同的位置、光照和天气条件下同步采集。此外,我们还提供了一部分RGB-SWIR图像转换和物体检测标注,用于展示易行交通场景中SWIR成像的实用性,通过在物体检测和RGB到SWIR图像转换实验中进行演示。我们的实验表明,在集成框架中结合RGB和SWIR数据显著提高了检测准确性,特别是在可见光谱传感器表现不佳的情况下。我们预计,RASMD数据集将推动多光谱成像在自动驾驶和稳健感知系统中的研究。