arXiv:2410.23749v5 通告类型: replace-cross 摘要：基于变换器的架构在自然语言处理和计算机视觉领域取得了显著成功。然而，在多变量长期预测方面，它们的表现往往不及简单的线性基线。之前的研究已将传统的注意力机制识别为限制其在该领域有效性的关键因素。为了弥合这一差距，我们提出了一种新的方法LATST，旨在缓解变换器时间序列预测中常见的熵坍塌和训练不稳定性等挑战。我们通过多个实际的多变量时间序列数据集严格评估了LATST，证明了其能够超越现有的最先进变换器模型。值得注意的是，在某些数据集上，LATST能够用比一些线性模型更少的参数实现竞争性性能，这突显了其高效性和有效性。