LLM2D
通过分别匹配初始速度和终端速度来提炼两时段流模型
Distilling Two-Timed Flow Models by Separately Matching Initial and Terminal Velocities
作者: Pramook Khungurn, Pratch Piyawongwisal, Sira Sriswadi, Supasorn Suwajanakorn
发布日期: 5/5/2025
arXiv ID: oai:arXiv.org:2505.01169v1

摘要

arXiv:2505.01169v1 类型: cross 摘要: 一种流匹配模型学习一个时间依赖的向量场 $v_t(x)$,该向量场生成一个概率路径 $\{ p_t \}_{0 \leq t \leq 1}$,该路径在已知噪声分布 ($p_0$) 和数据分布 ($p_1$) 之间进行插值。它可以被简化为一种 \emph{双时流模型} (TTFM) $\phi_{s,x}(t)$,该模型可以在一次函数评估中将初始时间 $s$ 时属于某个分布的样本转换为在终端时间 $t$ 时属于该分布的另一个样本。我们提出了一种新的 TTFM 简化损失函数,称为 \emph{起始/终端速度匹配} (ITVM) 损失,该损失通过增加冗余项来匹配初始时间 $s$ 时的速度,移除了终端时间 $t$ 时的速度项的导数,并使用经过指数移动平均 (EMA) 稳定的训练模型来计算目标终端平均速度。初步实验表明,我们的损失函数在多种类型的数据集和模型架构上比基线模型能够实现更好的多步生成性能。