LLM2D
通过基于频率的噪声控制塑造扩散模型的归纳偏置
Shaping Inductive Bias in Diffusion Models through Frequency-Based Noise Control
作者: Thomas Jiralerspong, Berton Earnshaw, Jason Hartford, Yoshua Bengio, Luca Scimeca
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2502.10236v1

摘要

arXiv:2502.10236v1 通告类型: cross 摘要:扩散概率模型(DPMs)是强大的生成模型,在多种生成任务中取得了无与伦比的成功。本文的目标是在训练和采样扩散模型时构建归纳偏置,以便更好地适应数据的目标分布。对于拓扑结构化数据,我们设计了一个基于频率的噪扰操作,以故意操纵和设定这些归纳偏置。我们首先表明,对噪扰前向过程进行适当的操纵可以使DPMs专注于分布的某些方面进行学习。我们展示了不同数据集需要不同的归纳偏置,并且适当的基于频率的噪声控制相比标准扩散能够提高生成性能。最后,我们展示了忽略特定频率信息的可能性,同时进行学习。我们在图像篡改和恢复任务中展示了这一点,其中我们训练了一个DPM,在严重噪声篡改后恢复原始目标分布。