摘要
arXiv:2503.08643v2 宣告类型:replace-cross
摘要:维度 curse 是统计概率模型中不可避免的挑战,然而扩散模型似乎克服了这一限制,实现了在高维数据生成方面的令人印象深刻的成果。扩散模型假设它们能够学习潜在概率分布的统计特性,从而能够从该分布中采样以生成真实样本。但这真的就是这样运作的吗?为了解决这个问题,本文详细分析了扩散模型的目标函数和推理方法,得出了几个重要结论,帮助回答上述问题:1)在高维度稀疏情况下,目标函数拟合的目标从多个样本的加权总和退化为单一样本。2)主流的推理方法都可以在一个简单的统一框架中表示,无需使用马尔可夫链和SDE等统计概念,但与退化的目标函数保持一致。3)根据这个简单框架,可以发现更高效的推理方法。