LLM2D
基于扩散模型的条件图像合成综述
Conditional Image Synthesis with Diffusion Models: A Survey
作者: Zheyuan Zhan, Defang Chen, Jian-Ping Mei, Zhenghe Zhao, Jiawei Chen, Chun Chen, Siwei Lyu, Can Wang
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2409.19365v2

摘要

基于用户指定需求的条件图像合成是创建复杂视觉内容的关键组成部分。近年来,基于扩散的生成模型已成为条件图像合成的有效方法,导致文献呈指数级增长。然而,基于扩散的模型的复杂性、图像合成任务的广泛范围以及调节机制的多样性,给研究人员带来了重大挑战,让他们难以跟上快速的发展并理解该主题的核心概念。在本综述中,我们根据条件如何整合到基于扩散的模型的两个基本组件(即去噪网络和采样过程)中对现有工作进行了分类。我们特别强调了在训练、重新利用和专业化阶段各种调节方法的潜在原理、优势和潜在挑战,以构建所需的去噪网络。我们还总结了基本采样过程中的六种主流调节机制。所有讨论都围绕着流行的应用展开。最后,我们指出了未来需要解决的一些关键问题,并提出了一些可能的解决方案。我们审查过的作品列在 https://github.com/zju-pi/Awesome-Conditional-Diffusion-Models。