摘要
扩散模型是强大的生成模型,这种能力也可以应用于判别。预训练扩散模型的内部激活可以作为判别任务的特征,即扩散特征。我们发现,扩散特征受到一个隐藏的普遍现象的阻碍,我们称之为内容偏移。具体来说,特征和输入图像之间存在内容差异,例如某个物体的精确形状。我们将内容偏移的原因定位为扩散模型的一个固有特征,这表明这种现象在扩散特征中广泛存在。进一步的实证研究也表明,即使内容偏移在视觉上不可感知,其负面影响也不容忽视。因此,我们建议抑制内容偏移以提高扩散特征的整体质量。具体来说,内容偏移与从噪声输入恢复图像过程中的信息漂移有关,指出了将现成的生成技术转化为内容偏移抑制工具的可能性。我们进一步提出了一个名为 GATE 的实用指南,以有效地评估技术的潜在益处,并提供了我们方法的实现。尽管简单,但所提出的方法在各种任务和数据集上取得了优异的结果,验证了其作为扩散特征通用增强器的潜力。我们的代码可在 https://github.com/Darkbblue/diffusion-content-shift 获取。