LLM2D
可扩展的离散扩散采样器:组合优化与统计物理
Scalable Discrete Diffusion Samplers: Combinatorial Optimization and Statistical Physics
作者: Sebastian Sanokowski, Wilhelm Berghammer, Martin Ennemoser, Haoyu Peter Wang, Sepp Hochreiter, Sebastian Lehner
发布日期: 2/18/2025
arXiv ID: oai:arXiv.org:2502.08696v2

摘要

arXiv:2502.08696v2 采样类型: 改替交叉 摘要:从离散域中的复杂未正规分布中学习采样成为了统计物理学、变分推断和组合优化等领域内的一个有前途的研究方向。近期的工作表明,在这个领域中扩散模型展现出潜在的应用价值。然而,现有的方法在内存扩展方面存在限制,因此无法实现足够的扩散步骤,因为它们需要在整个生成过程中进行反向传播。为克服这些限制,我们引入了两种新的离散扩散采样器的训练方法,一种基于策略梯度定理,另一种利用自规范化神经重要性采样(SN-NIS)。这些方法实现了内存高效的训练,并在无监督组合优化中取得了最先进的成果。此外,许多科学应用还需要无偏采样的能力。我们引入了SN-NIS和神经马尔可夫链蒙特卡罗方法的适应性改进,首次使离散扩散模型能够应用于这一问题。我们在Ising模型基准上验证了我们的方法,并发现它们优于流行的自回归方法。我们的研究为扩散模型在离散域中广泛科学应用的发展开辟了新的途径,而这些应用此前只限于精确似然模型。