arXiv:2503.24007v1 类型: cross 摘要: 因变量在实际时间序列预测中起着不可或缺的作用，它们提供了丰富的过去背景，并且有时甚至延伸到未来。然而，它们的可用性取决于特定场景，而且通常会涉及多个目标变量同时进行。此外，因变量与因变量之间的跨变量依赖关系是多粒度的，有些因变量对目标变量有短期影响，而另一些则显示出长期相关性。这种异质性以及在基于因变量的预测中产生的复杂依赖关系，给现有的深度模型带来了重大挑战。为了解决这些问题，我们提出了一种基于补丁的Transformer——CITRAS，它灵活地利用了涵盖过去和未来预测范围的目标变量和因变量。虽然CITRAS保留了经典Transformer强大的自回归能力，但在补丁级别的跨变量注意力中引入了两种新颖机制：Key-Value (KV) Shift和注意力得分平滑。KV Shift无缝地根据因变量的当前依赖关系将已知的未来因变量纳入目标变量的预测。此外，注意力得分平滑通过平滑过去一系列注意力得分，将局部准确的补丁级别跨变量依赖关系转换为全局变量级别的依赖关系。实验结果显示，CITRAS在基于因变量的预测和多变量预测中均取得了最先进的性能，证明了其利用跨变量依赖关系提高预测准确性的能力。