摘要
arXiv:2504.08818v1 类别: cross
摘要:使用预训练的大语言模型(LLMs)作为时间序列预测的基础最近吸引了显著的研究兴趣。然而,LLM基础模型在这一领域的有效性仍是一个有争议的话题。基于彻底的经验分析,我们观察到在小数据集上训练和测试基于LLM的模型往往会使得编码器和解码器过度适应数据集,从而掩盖了LLM基础模型的真实预测能力。为了探究LLM在时间序列预测中的真正潜力,我们引入了三种具有相同架构但不同预训练策略的预训练模型。大规模预训练使我们能够创建出针对LLM基础模型的无偏差的编码器和解码器组件。通过受控实验,我们评估了LLM的零样本和少样本预测性能,提供对其能力的见解。广泛的实验表明,尽管LLM基础模型显示出一些潜力,但其预测性能仍然有限。我们的源代码在匿名仓库中公开:https://anonymous.4open.science/r/LLM4TS-0B5C。