LLM2D
DFVO:一次学习无黑暗可见光和红外图像解耦融合
DFVO: Learning Darkness-free Visible and Infrared Image Disentanglement and Fusion All at Once
作者: Qi Zhou, Yukai Shi, Xiaojun Yang, Xiaoyu Xian, Lunjia Liao, Ruimao Zhang, Liang Lin
发布日期: 5/8/2025
arXiv ID: oai:arXiv.org:2505.04526v1

摘要

arXiv:2505.04526v1 类别: cross 摘要: 可见光和红外图像融合是图像融合领域中最关键的任务之一,旨在生成具有清晰结构信息和高质量纹理特征的融合图像,以供高级视觉任务使用。然而,当面对可见光图像中的严重光照退化时,现有图像融合方法的融合结果经常表现出模糊和灰暗的视觉效果,这对自动驾驶提出了重大挑战。为了解决这个问题,提出了一种名为 Darkness-Free 的网络来一次性处理可见光和红外图像解耦合与融合(DFVO),该网络采用级联多任务方法来替代传统的两阶段级联训练(增强和融合),解决了由分层数据传输引起的熵信息损失问题。具体而言,我们构建了一个潜在-共用特征提取器 (LCFE) 以获取级联任务策略的潜在特征。首先,设计了一个细节提取模块 (DEM) 来获取高频率语义信息。其次,我们设计了一个超交叉注意力模块 (HCAM) 来提取低频信息并保留源图像的纹理特征。最后,设计了一个相关损失函数以引导整个网络学习,从而实现更好的图像融合。大量实验表明,我们的方法在定性和定量评估中均优于现有最先进的方法。特别是,DFVO 在黑暗环境中能够生成更清晰、更具信息量且均匀光照的融合结果,在 LLVIP 数据集上达到 63.258 dB PSNR 和 0.724 CC,为高级视觉任务提供更有效的信息。我们的代码已公开可在 https://github.com/DaVin-Qi530/DFVO 获取。