摘要
近年来,人们越来越关注深度生成模型(DGM)与流形假设之间的相互作用。该领域的研究重点在于理解常用的 DGM 在学习支持未知低维流形的分布时成功或失败的原因,以及开发明确旨在处理流形支持数据的模型。这种流形视角不仅解释了为什么某些 DGM(例如扩散模型和一些生成对抗网络)在样本生成方面经验上优于其他 DGM(例如基于似然的模型,如变分自动编码器、归一化流或基于能量的模型),也为设计性能更高的 DGM 提供了指导。我们对从这种视角看待的 DGM 进行了首次调查,并在此过程中做出了两项新的贡献。首先,我们正式确定,当对具有低内在维度的模型进行建模时,高环境维度中似然的数值不稳定性是不可避免的。然后我们证明,在自动编码器的学习表示上进行的 DGM 可以被解释为近似最小化 Wasserstein 距离:这一结果适用于潜在扩散模型,有助于证明它们出色的经验结果。流形视角为理解 DGM 提供了一个丰富的视角,我们旨在使这种视角更容易获得和更广泛地传播。