LLM2D
动态注意力引导的图像超分辨率
Dynamic Attention-Guided Diffusion for Image Super-Resolution
作者: Brian B. Moser, Stanislav Frolov, Federico Raue, Sebastian Palacio, Andreas Dengel
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2308.07977v4

摘要

图像超分辨率(SR)中的扩散模型对所有图像区域进行统一处理,这可能会在对不太复杂的区域进行去噪的过程中引入伪影,从而危及整体图像质量。为了解决这个问题,我们提出了“仅扩散区域”(YODA)方法,这是一种动态注意力引导的图像SR扩散过程。YODA选择性地关注由低分辨率图像和当前去噪时间步生成的注意力图定义的空间区域。这种时间相关的目标定位,通过关注从迭代细化过程中获益最多的区域(即细节丰富的物体),能够更有效地转换为高分辨率输出。我们通过扩展领先的基于扩散的方法SR3、DiffBIR和SRDiff,对YODA进行了实证验证。我们的实验表明,在PSNR、SSIM和LPIPS指标上,YODA在人脸和通用SR任务中取得了新的最先进的性能。作为附加效果,我们发现YODA减少了颜色偏移问题,并稳定了小批量训练。