LLM2D
积分流模型
Integration Flow Models
作者: Jingjing Wang, Dan Zhang, Joshua Luo, Yin Yang, Feng Luo
发布日期: 4/30/2025
arXiv ID: oai:arXiv.org:2504.20179v1

摘要

arXiv:2504.20179v1 类型: cross 摘要:基于常微分方程(ODE)的生成模型已经在许多应用中 emerged 作为一种强大的方法,用于产生高质量的样本。然而,基于 ODE 的方法要么受到数值求解器离散化误差的影响,当仅使用少量 NFE 时限制了样本的质量,要么难以解决训练不稳定性问题。在本文中,我们提出了 Integration Flow,它直接学习 ODE 基本轨迹路径的积分,而无需求解 ODE 函数。此外,Integration Flow 明确地将目标状态 \(\mathbf{x}_0\) 作为锚点状态纳入反向时间动态的引导中。据我们所知,Integration Flow 是第一个具有统一结构来估计基于 ODE 的生成模型的模型,同时也是第一个没有重新流的情况下显示出 1-Rectified Flow 精确直线性的模型。通过理论分析和实证评估,我们表明当将 Integration Flows 应用于现有的基于 ODE 的模型时,如扩散模型、未重新流的Rectified Flows 和 PFGM++,可以实现改进的效果。特别是,在 CIFAR10 上,对于 Variance Exploding (VE) 扩散模型,Integration Flow 的 FID 为 2.86;对于未重新流的Rectified flow,FID 为 3.36;对于 PFGM++,FID 为 2.91;在 ImageNet 上,对于 VE 扩散模型,FID 为 4.09;对于未重新流的Rectified flow,FID 为 4.35;对于 PFGM++,FID 为 4.15。