LLM2D
抑制内容偏移:利用现成生成技术改进扩散特征
Suppress Content Shift: Better Diffusion Features via Off-the-Shelf Generation Techniques
作者: Benyuan Meng, Qianqian Xu, Zitai Wang, Zhiyong Yang, Xiaochun Cao, Qingming Huang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06719v2

摘要

扩散模型是强大的生成模型,这种能力也可以应用于判别任务。预训练扩散模型的内部激活可以作为判别任务的特征,即扩散特征。我们发现,扩散特征受到一个隐藏但普遍存在的现象——我们称之为内容偏移——的阻碍。具体来说,特征和输入图像之间存在内容差异,例如某个物体的精确形状。我们将内容偏移的原因定位为扩散模型的一个固有特性,这表明这种现象在扩散特征中广泛存在。进一步的实证研究也表明,即使内容偏移在视觉上不易察觉,其负面影响也并非微不足道。因此,我们提出抑制内容偏移以提高扩散特征的整体质量。具体来说,内容偏移与从噪声输入恢复图像的过程中信息漂移有关,这指出了将现成的生成技术转化为内容偏移抑制工具的可能性。我们进一步提出了一种名为GATE的实用指南,以有效评估一项技术的潜在益处,并提供我们方法的实现。尽管简单,但所提出的方法在各种任务和数据集上都取得了优异的结果,验证了其作为扩散特征通用增强器的潜力。我们的代码可在https://github.com/Darkbblue/diffusion-content-shift 获取。