arXiv:2410.11971v2 公布类型: replace-cross 摘要：扩散模型在生成建模（例如，文本转图像）方面表现出色，但采样需要多次去噪网络传递，限制了其实用性。通过减少传递次数来降低生成样本质量的做法，如渐进蒸馏或一致性蒸馏，已经显示出前景。在这项工作中，我们发现协变移位是多步蒸馏模型性能不佳的原因之一，因为推理时累积误差会导致性能下降。为了应对协变移位，我们将扩散蒸馏形式化为模仿学习（DDIL）框架，并通过数据分布（前向扩散）和学生诱导分布（后向扩散）增强蒸馏扩散模型的训练分布。通过在数据分布上进行训练有助于通过保留边际数据分布来多样化生成，而在学生分布上进行训练通过纠正协变移位来解决累积误差。此外，我们采用反射扩散形式进行蒸馏，并展示了改进的性能和在不同蒸馏方法下稳定的训练。我们证明，DDIL一致性在渐进蒸馏（PD）、潜在一致性模型（LCM）和分布匹配蒸馏（DMD2）的基本算法上有所改进。