LLM2D
HDT:分层离散变压器多变量时间序列预测
HDT: Hierarchical Discrete Transformer for Multivariate Time Series Forecasting
作者: Shibo Feng, Peilin Zhao, Liu Liu, Pengcheng Wu, Zhiqi Shen
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08302v1

摘要

arXiv:2502.08302v1 交叉公告类型:跨学科 摘要:生成模型在多变量时间序列预测(MTS)中引起了显著的关注,特别是由于它们能够生成高保真样本的能力。预测多变量时间序列的概率分布是一项既具有挑战性又实际的任务。尽管最近有一些尝试处理这一任务,但仍然存在两大挑战:1) 一些现有的生成方法在高维多变量时间序列预测中的表现不佳,难以扩展到更高维度;2) 内在的高维多变量属性限制了现有生成模型的预测长度。在本文中,我们指出离散的标记表示可以使用更快的推理时间来建模高维MTS,并且通过自身长期趋势预测目标可以提高预测长度的准确性。受此启发,我们提出了一种名为层次离散变换器(HDT)的向量化量化框架,该框架通过增强的L2归一化向量化量化策略将时间序列建模为离散标记表示,从而将MTS预测转换为离散标记生成。为了解决生成模型在长期预测中的限制,我们提出了一种层次离散变换器模型。该模型在低层捕捉目标的离散长期趋势,并利用这一趋势作为条件来生成高层的目标离散表示,从而引入目标自身的特征以在高维MTS中扩展预测长度。在五个流行的时间序列数据集上的广泛实验验证了我们提出方法的有效性。