LLM2D
少即是多:利用 Esiformer 拥抱稀疏性和插值进行时间序列预测
Less is more: Embracing sparsity and interpolation with Esiformer for time series forecasting
作者: Yangyang Guo, Yanjun Zhao, Sizhe Dang, Tian Zhou, Liang Sun, Yi Qian
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2410.05726v1

摘要

时间序列预测在许多实际领域中发挥着重要作用。但从现实世界应用中生成的时间序列数据总是表现出高方差和大量噪声,这使得难以捕捉数据的内在周期性模式,从而显著降低预测精度。为了解决这个问题,我们提出了 Esiformer,它对原始数据进行插值,降低数据的整体方差,减轻噪声的影响。更重要的是,我们用鲁棒的稀疏 FFN 增强了 vanilla transformer。它可以有效地增强模型的表示能力,并保持出色的鲁棒性,与 vanilla 实现相比,避免了过度拟合的风险。通过对具有挑战性的真实世界数据集的评估,我们的方法优于领先的模型 PatchTST,在多元时间序列预测中将 MSE 降低了 6.5%,将 MAE 降低了 5.8%。代码可在以下地址获取:https://github.com/yyg1282142265/Esiformer/tree/main。