摘要
反向采样和评分蒸馏在最近几年已经成为使用潜在扩散模型(LDMs)进行图像处理的主要方法。尽管反向扩散采样通常需要调整LDM架构或特征工程,评分蒸馏则提供了一种简单但强大的与模型无关的方法,但它经常容易发生模式崩溃。为了应对这些局限性并利用两种方法的优势,我们引入了一种名为{\em DreamSampler}的新框架,通过正则化潜在优化无缝集成这两种不同的方法。与评分蒸馏类似,DreamSampler是一种适用于任何LDM架构的与模型无关的方法,但它允许在图像编辑和重建中进行蒸馏和反向采样并提供额外的指导。通过涉及图像编辑、SVG重建等实验,我们证明了DreamSampler相对于现有方法的竞争性能,同时提供了新的应用。代码:https://github.com/DreamSampler/dream-sampler