LLM2D
混合分布评分估计训练:通过混合分布的评分估计简化单步生成模型训练
Score-of-Mixture Training: Training One-Step Generative Models Made Simple via Score Estimation of Mixture Distributions
作者: Tejas Jayashankar, J. Jon Ryu, Gregory Wornell
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2502.09609v2

摘要

arXiv:2502.09609v2 宣告类型: replace-cross 摘要: 我们提出了混合分数训练 (SMT),这是一种通过最小化一类称为 $\alpha$-偏斜杰森-香农散度的发散来训练一步生成模型的新框架。其核心在于,SMT 通过多个噪声水平估计真实样本和假样本混合分布的分数。与一致性模型类似,我们的方法支持从零开始训练 (SMT) 以及使用预训练扩散模型的蒸馏,我们称之为混合分数蒸馏 (SMD)。实现简单,需要的超参数调优极少,并确保训练稳定。在 CIFAR-10 和 ImageNet 64x64 上的实验表明,SMT/SMD 与现有方法相当,甚至可以超越现有方法。