LLM2D
关于条件扩散变换器的统计速率:逼近、估计和极小极大最优性
On Statistical Rates of Conditional Diffusion Transformers: Approximation, Estimation and Minimax Optimality
作者: Jerry Yao-Chieh Hu, Weimin Wu, Yi-Chen Lee, Yu-Chao Huang, Minshuo Chen, Han Liu
发布日期: 11/27/2024
arXiv ID: oai:arXiv.org:2411.17522v1

摘要

我们研究了具有无分类器引导的条件扩散Transformer (DiT) 的逼近率和估计率。我们针对四种常见数据假设,对“上下文”条件DiT进行了全面的分析。我们表明,在确定的设置下,条件DiT及其潜在变体都实现了无条件DiT的极小极大最优性。具体来说,我们将输入域离散化为无穷小网格,然后在Hölder光滑数据假设下对条件扩散评分函数进行逐项泰勒展开。这使得能够通过更详细的分段常数逼近来更精细地利用Transformer的万能逼近能力,从而获得更紧的界限。此外,我们在线性潜在子空间假设下将我们的分析扩展到潜在设置。我们不仅表明潜在条件DiT在逼近和估计方面都比条件DiT实现了更低的界限,而且还表明了潜在无条件DiT的极小极大最优性。我们的研究结果确定了条件和无条件DiT的统计极限,并为开发更高效、更准确的DiT模型提供了实践指导。