LLM2D
多传感器扩散驱动的大规模光学图像翻译应用
Multi-Sensor Diffusion-Driven Optical Image Translation for Large-Scale Applications
发布日期: 9/24/2024
arXiv ID: oai:arXiv.org:2404.11243v3

摘要

比较不同传感器捕获的图像是遥感中的常见挑战。这需要图像转换——将图像从一个传感器域转换到另一个传感器域,同时保留原始内容。去噪扩散隐式模型(DDIM)在多个经典计算机视觉中的图像到图像转换任务中表现出优越性,被认为是这种域转换的潜在最先进解决方案。然而,这些模型在处理大规模多补丁图像时常常表现出困难,往往只关注小补丁,从而导致整个图像的一致性问题。为克服这些限制,我们提出了一种新方法,利用DDIM在大面积光学图像转换中实现高效。我们的方法将大规模低空间分辨率图像超分辨率转换为不同光学传感器的高分辨率等效图像,确保数百个补丁的一致性。我们的贡献在于新的前向和逆向扩散过程,这对于解决大规模图像转换的挑战至关重要。通过对配对的Sentinel-II和Planet Dove图像数据集进行广泛实验,证明了我们的方法提供了精确的域适应和伪影减少。该方法在提高辐射(颜色)准确性和特征表示的同时,保留了图像内容。最终结果是一个具有一致补丁的高分辨率大规模图像,对于异构变化检测(HCD)等应用至关重要。我们提出了一种基于DDIM的独特训练和测试算法,进行了全面的图像质量评估,并与标准的无分类指导DDIM框架和其他五种领先方法进行了比较研究。我们的方法在贝鲁特(黎巴嫩)和奥斯汀(美国)的城市环境中的HCD任务中进一步展示了其实用性。