LLM2D
时间序列预测的测试时学习
Test Time Learning for Time Series Forecasting
作者: Panayiotis Christou, Shichu Chen, Xupeng Chen, Parijat Dube
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2409.14012v2

摘要

时间序列预测随着多头注意力等标记预测机制的引入取得了重大进展。然而,这些方法在性能上往往难以与语言模型相媲美,主要原因在于其二次计算成本以及在时间序列数据中捕捉长程依赖关系的复杂性。状态空间模型 (SSM),例如 Mamba,已展现出解决这些挑战的潜力,通过提供高效的解决方案,利用线性 RNN 能够对具有更大上下文窗口的长序列进行建模。然而,在准确性和可扩展性方面仍有提升空间。 我们提出在并行架构中使用测试时训练 (TTT) 模块来提高长期时间序列预测的性能。通过对标准基准数据集进行大量实验,我们证明 TTT 模块始终优于最先进的模型,包括基于 Mamba 的 TimeMachine,特别是在涉及扩展序列和预测长度的场景中。我们的结果表明,均方误差 (MSE) 和平均绝对误差 (MAE) 有显著改善,尤其是在电力、交通和天气等大型数据集上,这突出了 TTT 在捕获长程依赖关系方面的有效性。此外,我们探讨了 TTT 框架内的各种卷积架构,结果表明,即使是简单的配置,例如带有小型滤波器的 1D 卷积,也能取得具有竞争力的结果。这项工作为时间序列预测设定了新的基准,并为可扩展、高性能预测模型的未来研究奠定了基础。