LLM2D
归纳矩匹配
Inductive Moment Matching
作者: Linqi Zhou, Stefano Ermon, Jiaming Song
发布日期: 3/26/2025
arXiv ID: oai:arXiv.org:2503.07565v5

摘要

arXiv:2503.07565v5 生成类型:替换-交叉 摘要:扩散模型和流匹配生成高质量的样本,但在推理速度上较慢,将它们提炼为少数步数的模型往往会带来不稳定性和大量的调优。为了解决这些权衡,我们提出了一种新的生成模型类别——归纳矩匹配(Inductive Moment Matching,IMM),它具有一阶段的训练过程,适用于一步或少数几步的采样。与提炼不同,IMM 不需要预先训练初始化和两个网络的优化;与一致性模型不同,IMM 保证了分布级别的收敛,并能在各种超参数和标准模型架构下保持稳定。IMM 在 ImageNet-256x256 上仅使用 8 步推理就超越了扩散模型,实现了从零开始训练的 CIFAR-10 上最先进的 2 步 FID 结果,为 1.98。