LLM2D
生成性扩散模型的熵时间调度器
Entropic Time Schedulers for Generative Diffusion Models
作者: Dejan Stancevic, Luca Ambrogioni
发布日期: 4/21/2025
arXiv ID: oai:arXiv.org:2504.13612v1

摘要

arXiv:2504.13612v1 宣告类型: cross 摘要:生成扩散模型的实际性能取决于噪声调度函数的合适选择,这也可以等效地表示为时间重参数化。本文中,我们提出了一种时间调度器,它基于熵而非均匀的时间间隔选择采样点,确保每个点对最终生成贡献相同的信息。我们证明这种时间重参数化与初始时间选择无关。此外,我们提供了一个可计算的精确公式,利用训练损失估计训练模型的这种\emph{熵时间},而不增加显著的计算开销。除了熵时间外,我们还借鉴最优性结果引入了一种缩放熵时间。在对高斯混和分布和ImageNet的实验中,我们展示了使用(缩放的)熵时间极大地提高了训练模型的推理性能。特别是,我们发现,通过缩放的熵时间重参数化,在不影响函数评估次数的情况下,预训练EDM2模型的图像质量(通过FID和FD-DINO分数评估)可以显著提高,尤其是对于少量的函数评估次数。