LLM2D
对称扩散器:学习有限对称群上的离散扩散
SymmetricDiffusers: Learning Discrete Diffusion on Finite Symmetric Groups
作者: Yongxing Zhang, Donglin Yang, Renjie Liao
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.02942v1

摘要

有限对称群 $S_n$ 在组合数学、物理学和化学等领域至关重要。然而,由于其难以处理的规模和离散性,学习 $S_n$ 上的概率分布面临着重大挑战。本文介绍了对称扩散器,这是一种新颖的离散扩散模型,它通过使用深度神经网络学习反向扩散的更简单转换来简化学习 $S_n$ 上复杂分布的任务。我们确定了洗牌作为有效的正向转换,并根据有限群上的随机游走理论提供了选择扩散长度的经验指南。此外,我们提出了一种广义的 Plackett-Luce (PL) 分布用于反向转换,该分布在理论上比 PL 分布更具表现力。我们进一步引入了一种理论上有根据的“去噪计划”来提高采样和学习效率。大量实验表明,我们的模型在解决包括对 4 位数 MNIST 图像进行排序、拼图和旅行推销员问题等任务方面取得了最先进或相当的性能。我们的代码已发布在 https://github.com/NickZhang53/SymmetricDiffusers。