摘要
时间序列预测在引入多头注意力等令牌预测机制后取得了显著进展。然而,这些方法往往难以在语言建模中达到相同的性能,主要原因是其二次计算成本以及捕捉时间序列数据中长程依赖关系的复杂性。状态空间模型(如Mamba)通过提供能够处理长序列和大上下文窗口的线性RNN解决方案,显示出解决这些挑战的潜力。然而,在准确性和可扩展性方面仍有改进空间。我们提出在并行架构中使用测试时训练(TTT)模块来增强长期时间序列预测的性能。通过对标准基准数据集的广泛实验,我们证明TTT模块在涉及扩展序列和预测长度的场景中,持续优于包括基于Mamba的TimeMachine在内的最先进模型。我们的结果显示,在均方误差(MSE)和平均绝对误差(MAE)方面有显著改进,特别是在Electricity、Traffic和Weather等大型数据集上,突显了TTT在捕捉长程依赖关系方面的有效性。此外,我们探索了TTT框架内的各种卷积架构,发现即使是简单的配置,如带有小滤波器的1D卷积,也能取得有竞争力的结果。这项工作为时间序列预测设定了新的基准,并为未来研究可扩展的高性能预测模型奠定了基础。