arXiv:2405.17403v3 宣布类型: replace-cross 摘要：训练扩散模型始终是一个计算密集型任务。在本文中，我们介绍了一种新的扩散模型训练加速方法，称为，该方法基于对时间步的更深入了解。我们的主要发现是：i) 根据过程增量，可以经验地将时间步划分为加速、减速和收敛区域。ii) 这些时间步是不平衡的，其中很多集中在收敛区域内。iii) 集中的时间步对扩散训练提供的益处有限。为了解决这一问题，我们设计了一种非对称采样策略，减少了从收敛区域内的时间步的频率，同时增加了来自其他区域的时间步的采样概率。此外，我们提出了一种加权策略，以强调快速变化过程增量的时间步的重要性。作为一种插即用且架构无关的方法，SpeeD在各种扩散架构、数据集和任务中的一致实现了3倍的加速。值得注意的是，由于其简单的设计，我们的方法在最小化开销的情况下显著降低了扩散模型训练的成本。我们的研究使得研究人员能够以更低的成本训练扩散模型。