arXiv:2410.06264v2 生成类型: replace-cross 摘要：离散扩散已经达到了最先进的性能，超过了或接近了在标准基准上表现的自回归模型。在本文中，我们介绍了离散扩散与计划去噪（DDPD），这是一种新颖的框架，将生成过程分离成两个模型：规划器和去噪器。在推理时，规划器通过识别需要去噪的最受污染的位置来选择下一个去噪的位置，包括初始受污染的位置以及需要额外精炼的位置。这种计划和去噪的方法通过在最优顺序中迭代地识别和去噪污染，使得生成过程中的重建更加高效。DDPD 在语言建模基准测试（如 text8、OpenWebText 以及基于 token 的 ImageNet \(256 \times 256\) 图像生成）中表现出更优的结果。值得注意的是，在语言建模中，DDPD 显著减少了基于扩散的方法与自回归方法在生成困惑度上的性能差距。代码可在 https://github.com/liusulin/DDPD 获取。