我们提出了一种自回归 (AR) 移动平均 (MA) 注意力结构，它可以适应各种线性注意力机制，增强它们捕获时间序列中的长程和局部时间模式的能力。在本文中，我们首先证明，对于时间序列预测 (TSF) 任务，先前被忽视的仅解码器自回归 Transformer 模型在应用适当的标记化和训练方法时可以实现与最佳基线相当的结果。此外，受统计学中的 ARMA 模型和线性注意力的最新进展启发，我们将完整的 ARMA 结构引入现有的自回归注意力机制。通过使用间接 MA 权重生成方法，我们在保持底层高效注意力模型的时间复杂度和参数大小的同时，加入了 MA 项。我们进一步探讨了间接参数生成如何产生与局部时间影响的建模要求相一致的隐式 MA 权重。实验结果表明，将 ARMA 结构纳入各种 AR 注意力机制中，可以持续提高 TSF 任务的性能，并取得最先进的结果。