LLM2D
保留边缘的噪声用于扩散模型
Edge-preserving noise for diffusion models
作者: Jente Vandersanden, Sascha Holl, Xingchang Huang, Gurprit Singh
发布日期: 4/22/2025
arXiv ID: oai:arXiv.org:2410.01540v3

摘要

arXiv:2410.01540v3 宣传类型: 替换交叉 摘要:经典的生成性扩散模型学习一个各向同性高斯去噪过程,对待所有空间区域均等处理,因此忽略了数据中可能有价值的结构信息。受到图像处理中广泛研究的各向异性扩散工作的启发,我们提出了一种新颖的保边缘扩散模型,该模型通过考虑混合噪声方案来推广现有的各向同性模型。特别地,我们引入了一种边缘感知噪声调度器,其在保边缘和各向同性高斯噪声之间变化。我们展示了我们的模型的生成过程更快地收敛到与目标分布更接近的结果。我们证明了该模型能够更好地学习数据集中的低至中频内容,这对表示形状和结构信息至关重要。我们的保边缘扩散过程在无条件图像生成任务中始终优于当前最先进的基线。尤其是在基于形状先验指导的生成任务中,如从笔画生成图像,该模型表现尤为稳健。我们提供了定性和定量结果(FID和CLIP得分),展示了两种任务中持续提高高达30%的表现。