LLM2D
PSformer: 带段注意力的参数高效Transformer时间序列预测
PSformer: Parameter-efficient Transformer with Segment Attention for Time Series Forecasting
作者: Yanlong Wang, Jian Xu, Fei Ma, Shao-Lun Huang, Danny Dongning Sun, Xiao-Ping Zhang
发布日期: 2/12/2025
arXiv ID: oai:arXiv.org:2411.01419v2

摘要

arXiv:2411.01419v2 宣布类型: replace-cross 摘要:时间序列预测仍然是各个领域中的一项关键挑战,往往受到高维数据和长期依赖性的复杂性的影响。本文提出了一种新的时间序列预测Transformer架构,包含两项创新:参数共享(PS)和空间-时间片段注意力(SegAtt)。我们还将时间序列片段定义为从不同变量相同位置处序列片段的连接。所提出的模型PSformer通过参数共享机制减少了训练参数的数量,从而提高了模型的效率和可扩展性。通过引入SegAtt,可以在片段上计算注意力来增强捕捉局部空间-时间依赖性的能力,并通过片段之间的整合提高全局表示能力。参数共享和SegAtt的结合显著提高了预测性能。在基准数据集上的广泛实验表明,PSformer在准确性和可扩展性方面优于流行的基线和其他基于Transformer的方法,确立了其作为时间序列预测准确且可扩展的工具的地位。