LLM2D
SCFormer:带有累积历史状态的结构化通道变压器,用于多变量时间序列预测
SCFormer: Structured Channel-wise Transformer with Cumulative Historical State for Multivariate Time Series Forecasting
作者: Shiwei Guo, Ziang Chen, Yupeng Ma, Yunfei Han, Yi Wang
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2505.02655v1

摘要

arXiv:2505.02655v1 交叉公告类型:预测方法 摘要:通过利用通道内自我注意力,Transformer 模型在多变量时间序列预测中展现了强大的性能。然而,这种方法在计算时间特征时缺乏时间约束,也没有有效利用累积历史序列。为解决这些限制,我们提出了带有累积历史状态的结构化通道 Transformer (SCFormer)。SCFormer 为所有线性变换引入了时间约束,包括查询、键和值矩阵,以及 Transformer 中的全连接层。此外,SCFormer 使用高阶多项式投影运算符 (HiPPO) 来处理累积历史时间序列,使模型在预测时能够利用超出前瞻窗口范围的信息。在多个真实世界数据集上的广泛实验表明,SCFormer 显著优于主流基线,展示了其在增强时间序列预测方面的效果。代码可以在 https://github.com/ShiweiGuo1995/SCFormer 公开获取。