LLM2D
DeNOTS: 稳定的深度神经ODEs时间序列模型
DeNOTS: Stable Deep Neural ODEs for Time Series
作者: Ilya Kuleshov, Evgenia Romanenkova, Galina Boeva, Vladislav Zhuzhel, Evgeni Vorsin, Alexey Zaytsev
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2408.08055v2

摘要

arXiv:2408.08055v2 通知类型: 替换-交叉 摘要: 神经ODE是设计用于捕捉复杂时间戳数据随时间演变的方法之一。其理念是通过神经网络定义的动力学来求解一个ODE,这些动力学考虑了观察到的系统的即时参数。然而,较大的积分区间会导致不稳定性,这迫使大多数现代方法将时间归一化到[0, 1]。我们通过引入自适应负反馈机制来证明性地稳定这些模型。这种修改允许进行更长时间的积分,从而在表达能力上也有更大的提升,类似于传统神经网络增加深度的行为。此外,这种方法还提供了一些引人注目的理论特性:忘却性和缺失值鲁棒性。对于三个开放数据集,我们的方法在下游质量上与现有的基线方法相比,包括状态空间模型和神经CDE,最多可获得20%的提升。