LLM2D
扭曲扩散:利用图像扩散模型解决视频逆问题
Warped Diffusion: Solving Video Inverse Problems with Image Diffusion Models
作者: Giannis Daras, Weili Nie, Karsten Kreis, Alex Dimakis, Morteza Mardani, Nikola Borislavov Kovachki, Arash Vahdat
发布日期: 10/23/2024
arXiv ID: oai:arXiv.org:2410.16152v2

摘要

将图像模型直接用于解决逆向视频问题通常会导致生成的视频出现闪烁、纹理粘连和时间不一致等问题。为了解决这些问题,本文将帧视为二维空间中的连续函数,并将视频视为不同帧之间的一系列连续扭曲变换。这种视角允许我们仅在图像上训练函数空间扩散模型,并利用它们来解决时间相关的逆问题。函数空间扩散模型需要相对于底层空间变换保持等变性。为了确保时间一致性,我们引入了一种简单的事后测试时间引导,以实现(自)等变解。我们的方法允许我们部署最先进的潜在扩散模型,例如 Stable Diffusion XL,来解决视频逆问题。我们证明了我们的方法在视频修复和 8 倍视频超分辨率方面的有效性,优于基于噪声变换的现有技术。我们提供了生成的视频结果:https://giannisdaras.github.io/warped_diffusion.github.io/。