LLM2D
高维度中的扩散模型重思考
Rethinking Diffusion Model in High Dimension
作者: Zhenxin Zheng, Zhenjie Zheng
发布日期: 4/15/2025
arXiv ID: oai:arXiv.org:2503.08643v2

摘要

arXiv:2503.08643v2 宣告类型:replace-cross 摘要:维度 curse 是统计概率模型中不可避免的挑战,然而扩散模型似乎克服了这一限制,实现了在高维数据生成方面的令人印象深刻的成果。扩散模型假设它们能够学习潜在概率分布的统计特性,从而能够从该分布中采样以生成真实样本。但这真的就是这样运作的吗?为了解决这个问题,本文详细分析了扩散模型的目标函数和推理方法,得出了几个重要结论,帮助回答上述问题:1)在高维度稀疏情况下,目标函数拟合的目标从多个样本的加权总和退化为单一样本。2)主流的推理方法都可以在一个简单的统一框架中表示,无需使用马尔可夫链和SDE等统计概念,但与退化的目标函数保持一致。3)根据这个简单框架,可以发现更高效的推理方法。