arXiv:2502.03383v1 类型: cross 摘要: 我们全面分析了transformers作为时间序列基础模型的能力，重点关注其逼近能力和泛化能力。首先，我们证明存在通过梯度下降拟合输入单变量时间序列的自回归模型的transformers。然后，我们分析了MOIRAI这种多变量时间序列基础模型，它可以处理任意数量的协变量。我们证明了它有能力自动拟合任意数量协变量的自回归模型，这为它的设计和实证成功提供了见解。对于泛化，我们建立了当数据满足Dobrushin条件时预训练的边界。实验支持我们理论发现的结果，突出了transformers作为时间序列基础模型的有效性。