LLM2D
CaLMFlow:基于因果语言模型的 Volterra 流匹配
CaLMFlow: Volterra Flow Matching using Causal Language Models
作者: Sizhuang He, Daniel Levine, Ivan Vrkic, Marco Francesco Bressana, David Zhang, Syed Asad Rizvi, Yangtian Zhang, Emanuele Zappala, David van Dijk
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05292v1

摘要

我们提出了 CaLMFlow(用于流匹配的因果语言模型),这是一个新颖的框架,它将流匹配转换为 Volterra 积分方程 (VIE),利用大型语言模型 (LLMs) 的强大功能来生成连续数据。CaLMFlow 能够通过将流匹配制定为序列建模任务,将离散语言建模和连续生成式建模桥接起来,从而直接将 LLMs 应用于学习复杂流。我们的方法在空间和时间上实现了标记化,从而在这些领域上解决了 VIE。这种方法能够有效地处理高维数据,并且优于依赖 ODE 求解器的算法,例如条件流匹配 (CFM)。我们在合成数据和真实世界数据上证明了 CaLMFlow 的有效性,包括单细胞扰动响应预测,展示了它能够整合文本上下文并推广到未见过的条件。我们的结果表明,由 LLM 驱动的流匹配是生成式建模中一个很有前途的范式,它提供了更好的可扩展性、灵活性和上下文感知能力。