LLM2D
生成性扩散模型中的熵时间调度器
Entropic Time Schedulers for Generative Diffusion Models
作者: Dejan Stancevic, Luca Ambrogioni
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2504.13612v2

摘要

arXiv:2504.13612v2 宣告类型: 替换-交叉 摘要:生成扩散模型的实际性能取决于噪声调度函数的适当选择,这也可以等效地表示为时间重新参数化。在本文中,我们提出了一种时间调度器,该调度器根据熵而不是均匀的时间间隔来选择采样点,确保每个点对最终生成贡献相同的信息量。我们证明这种时间重新参数化不依赖于初始的时间选择。此外,我们提供了一个可计算的精确公式,使用训练损失估计训练模型的这种所谓的“熵时间”而不会产生显著的额外开销。在引入熵时间和借鉴最优化结果的基础上,我们引入了缩放熵时间。在使用高斯分布混合和ImageNet的实验中,我们展示了使用(缩放的)熵时间大大提高了训练模型的推理性能。特别是,我们发现通过缩放熵时间重新参数化,预训练的EDM2模型在使用FID和FD-DINO评分评估图像质量时,可以显著提高,而无需增加函数评估的数量,在少量计算次数的情况下表现出更大的改进。