摘要
arXiv:2502.09609v1 类别: cross
摘要: 我们提出了混合分数训练 (SMT),这是一个通过最小化一类称为 $\alpha$-斜Jensen-Shannon 散度来训练一步生成模型的新框架。其核心在于,SMT 估计了真实样本和生成样本在多个噪声水平下的混合分布分数。类似于一致性模型,我们的方法同时支持从零开始训练 (SMT) 和通过预训练的扩散模型进行蒸馏,我们称之为混合分数蒸馏 (SMD)。SMT/SMD 实现简单,需要极少的超参数调整,并确保训练的稳定性。在CIFAR-10 和 ImageNet 64x64 上的实验表明,SMT/SMD 在现有方法中具有竞争力,并且甚至可以超越现有方法。