摘要
快速模拟动力学系统是许多科学和工程应用中的一个关键挑战,例如天气预报、疾病控制和药物发现。随着深度学习的最新成功,人们越来越关注使用神经网络以数据驱动的方式求解微分方程。然而,现有的方法要么局限于特定类型的微分方程,要么需要大量数据进行训练。这限制了它们在许多现实世界应用中的实用性,因为数据通常稀缺或获取成本高昂。为了解决这个问题,我们提出了一种新的多模态基础模型,名为\textbf{FMint}(基于\textbf{In}i\textbf{t}ialization的\textbf{F}oundation \textbf{M}odel),以弥合人类设计模型和数据驱动模型之间的差距,用于快速模拟动力学系统。FMint 建立在仅解码器 Transformer 架构之上,并使用上下文学习,利用数值和文本数据来学习动力学系统的通用误差校正方案,使用来自传统求解器的粗略解的提示序列。该模型在 40K 个 ODE 的语料库上进行预训练,我们在具有混沌行为和高维度的具有挑战性的 ODE 上进行了大量实验。我们的结果证明了所提出的模型在准确性和效率方面相对于经典数值求解器的有效性,突出了 FMint 作为动力学系统通用求解器的潜力。我们的方法比最先进的动力系统模拟器实现了 1 到 2 个数量级的精度改进,并且与传统的数值算法相比,实现了 5 倍的加速。FMint 的代码可在 \url{https://github.com/margotyjx/FMint} 获取。