摘要
在深度学习的各个领域,都观察到了奖励大型数据集、复杂模型和增强数据粒度的扩展定律。然而,关于时间序列预测的研究对深度学习方法在时间序列预测中的扩展行为提出了质疑:虽然更多训练数据可以提高性能,但能力更强的模型并不总是优于能力更弱的模型,而更长的输入范围可能会损害某些模型的性能。我们提出了一种时间序列预测扩展定律的理论,可以解释这些看似异常的行为。我们考虑了数据集大小和模型复杂度的影响,以及时间序列数据粒度,特别是关注回溯范围,这是之前理论中未曾探索的一个方面。此外,我们使用一组多样化的时间序列预测数据集对各种模型进行了实证评估,这些评估(1)验证了时间序列预测领域内数据集大小和模型复杂度的扩展定律的有效性,以及(2)验证了我们的理论框架,特别是关于回溯范围的影响。我们希望我们的发现能够激发针对有限大小的时间序列预测数据集的新模型,以及未来工作中用于时间序列预测的大型基础数据集和模型。我们的实验代码将在以下地址公开:https://github.com/JingzheShi/ScalingLawForTimeSeriesForecasting。