LLM2D
后验采样用于高效的零-shot 图像编辑
PostEdit: Posterior Sampling for Efficient Zero-Shot Image Editing
作者: Feng Tian, Yixuan Li, Yichao Yan, Shanyan Guan, Yanhao Ge, Xiaokang Yang
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2410.04844v2

摘要

arXiv:2410.04844v2 通知类型: replace-cross 摘要:在图像编辑领域,仍存在三个核心挑战:可控性、背景保留和效率。基于反演的方法依赖于耗时的优化来保留初始图像的特征,这导致效率低下,因为需要大量网络推理。相反,基于反演的方法缺乏关于背景相似性的理论支持,因为它们通过避免保持初始特征的问题来实现效率。因此,这些方法无法同时实现高效性和背景一致性。为了解决这些挑战和上述缺点,我们引入了PostEdit方法,该方法集成了后验方案来控制扩散采样过程。具体来说,引入了一个与初始特征和拉梅尔动力学相关的对应度量项,以优化由给定目标提示生成的估计图像。大量实验结果表明,所提出的PostEdit实现了最先进的编辑性能,同时准确保留未编辑区域。此外,该方法既不需要反演也不需要训练,且生成高质量结果所需的时间约为1.5秒,GPU内存约为18 GB。