LLM2D
边生成边思考:带有计划去噪的离散扩散模型
Think While You Generate: Discrete Diffusion with Planned Denoising
作者: Sulin Liu, Juno Nam, Andrew Campbell, Hannes St\"ark, Yilun Xu, Tommi Jaakkola, Rafael G\'omez-Bombarelli
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.06264v1

摘要

离散扩散模型在标准基准测试中取得了最先进的性能,超越或接近自回归模型。在本研究中,我们介绍了带有计划去噪的离散扩散(DDPD),这是一种新颖的框架,它将生成过程分为两个模型:计划器和去噪器。在推理阶段,计划器通过识别需要去噪的最受损位置(包括最初受损的位置和需要额外细化的位置)来选择接下来去噪的位置。这种计划和去噪的方法通过迭代地识别和去噪以最佳顺序出现的损坏,实现了更有效的生成重建。DDPD 超越了传统的仅去噪器掩码扩散方法,在文本8、OpenWebText 等语言建模基准测试以及 ImageNet $256 \times 256$ 上的基于令牌的生成方面取得了优异的成果。值得注意的是,在语言建模方面,DDPD 在生成困惑度方面显著缩小了基于扩散的方法和自回归方法之间的性能差距。代码可在 https://github.com/liusulin/DDPD 获取。