LLM2D
交错吉布斯扩散在受约束生成中的应用
Interleaved Gibbs Diffusion for Constrained Generation
作者: Gautham Govind Anil, Sachin Yadav, Dheeraj Nagaraj, Karthikeyan Shanmugam, Prateek Jain
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2502.13450v1

摘要

arXiv:2502.13450v1 交叉公告类型 摘要:我们介绍了交错吉布斯扩散(IGD),这是一种用于混合连续-离散数据的新型生成建模框架,重点关注受约束的生成问题。之前关于离散和连续-离散扩散模型的工作假设了因式的去噪分布以实现快速生成,这可能会阻碍对受约束生成过程中遇到的随机变量之间强烈依赖关系的建模。IGD通过交错连续和离散去噪算法,借助离散时间吉布斯抽样类型的马尔可夫链超越了这一点。IGD在去噪器的选择上具有灵活性,可以通过状态空间加倍进行条件生成,并通过ReDeNoise方法在推理时间进行缩放。在三个具有挑战性的任务上进行的经验评估展示了最先进的性能。值得注意的是,IGD未经修改即可在3-SAT问题上取得7%的改进,在分子生成方面不依赖于协变扩散或特定领域的架构即可达到最先进的结果。我们在这些问题中探索了广泛的建模和交错策略,以及每个问题中的超参数。