摘要
arXiv:2503.20744v1 宣传类型: cross
摘要:我们引入了相对和绝对位置匹配(RAPM),这是一种高效的扩散蒸馏方法,可以在单个GPU上进行高效训练。最近的扩散蒸馏研究使用了阶段性一致性模型(PCM)和改进的分布匹配蒸馏(DMD2)等方法,在高分辨率的文本到图像生成方面取得了优异的结果。然而,这些方法在训练过程中通常需要大量GPU(例如8-64个)和显著的批量大小(例如128-2048),导致内存和计算需求超出了一些研究者的资源。RAPM通过使用批量大小为1的单个GPU实现了有效的扩散蒸馏训练。该新方法试图通过匹配相对和绝对位置来模仿教师模型的采样轨迹。相对位置的设计受到了PCM的启发。相应地, Rapids引入了两个判别器,一个用于匹配相对位置,另一个用于匹配绝对位置。实验结果表明,在非常有限的计算资源下,适用于StableDiffusion V1.5和SDXL的RAPM在4个时间步长下的FID分数与仅使用1个时间步长的最佳方法相当。