摘要
arXiv:2503.07565v4 Announce Type: replace-cross
摘要:扩散模型和流匹配可以生成高质量的样本,但在推理时速度较慢,将它们提炼为少步模型通常会导致不稳定性和广泛的调优。为了解决这些权衡,我们提出了归纳矩匹配(Inductive Moment Matching, IMM),这是一种新的生成模型类,适用于一轮或多轮采样,且具有单阶段训练过程。与蒸馏不同,IMM 不需要为两个网络进行预训练初始化和优化;而与一致性模型不同,IMM 在各种超参数和标准模型架构下保证了分布级别的收敛性和稳定性。IMM 在使用仅 8 步推理即可在 ImageNet-256x256 上超越扩散模型,使用从头训练的模型在 CIFAR-10 上实现了最先进的 2 步 FID 得分 1.98。