arXiv:2502.06151v1 类型: cross 摘要：Transformer 近期在时间序列预测方面展现了强大的性能，但是它们的全连接注意力机制忽略了数据的（时间性的）因果性以及往往具有（时间性的）局部性。我们引入了 Powerformer，这是一种新型的 Transformer 变体，用因果权重替代了非因果权重，这些因果权重根据平滑的重尾衰减重新加权。这种简单而有效的修改赋予了该模型一种倾向于时间局部依赖性的归纳偏置，同时仍然允许足够的灵活性以学习每个数据集的独特相关结构。我们的实验结果表明，与公开的时间序列基准相比，Powerformer 不仅取得了最先进的准确度，还提供了改进后的注意力模式可解释性。我们的分析表明，模型的时间局部性偏置在训练过程中被放大，展示了时间序列数据与基于幂律的注意力之间的相互作用。这些发现突显了针对时间序列预测对 Transformer 架构进行领域特定修改的重要性，并确立了 Powerformer 作为未来研究和实际应用的强大、高效且有原则的基础模型。