LLM2D
即时IR:基于生成式参考的盲图像复原
InstantIR: Blind Image Restoration with Instant Generative Reference
作者: Jen-Yuan Huang, Haofan Wang, Qixun Wang, Xu Bai, Hao Ai, Peng Xing, Jen-Tse Huang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06551v1

摘要

处理测试时未知退化是盲图像恢复 (BIR) 中的主要挑战,需要高度的模型泛化能力。一种有效的策略是结合先验知识,无论是来自人工输入还是生成模型。在本文中,我们介绍了即时参考图像恢复 (InstantIR),一种新颖的基于扩散的 BIR 方法,它在推理过程中动态调整生成条件。我们首先通过预训练的视觉编码器提取输入的紧凑表示。在每个生成步骤中,此表示用于解码当前扩散潜在变量并在生成先验中实例化它。然后使用此参考对退化图像进行编码,从而提供稳健的生成条件。我们观察到生成参考的方差随着退化强度的变化而波动,我们进一步利用它作为开发适应输入质量的采样算法的指标。大量的实验表明 InstantIR 实现了最先进的性能并提供了出色的视觉质量。通过使用文本描述来调节生成参考,InstantIR 可以恢复极端退化,并另外具有创造性的恢复功能。