摘要
arXiv:2406.09570v3 宣告类型: replace-cross
摘要:一致性模型在单次神经网络前向传递中模仿基于分数的扩散的多步骤采样。它们可以通过两种方式之一进行学习:一致性蒸馏和一致性训练。前者依赖于相应的微分方程的真实速度场,该速度场由预训练的神经网络近似。相比之下,后者使用单样本蒙特卡洛估计的速度场。相关的估计误差在一致性蒸馏和训练之间引起差异,我们在连续时间极限中也证明了这一点。为了解决这个问题,我们提出了一个新颖的流,将噪声数据传输到由一致性模型得出的相应输出。我们证明该流减少了之前识别的差异和噪声-数据传输代价。因此,我们的方法不仅加速了一致性训练的收敛,还提高了其整体性能。代码可在 https://github.com/thibautissenhuth/consistency_GC 获取。