LLM2D
VisionTS:视觉掩蔽自编码器是免费的零样本时间序列预测器
VisionTS: Visual Masked Autoencoders Are Free-Lunch Zero-Shot Time Series Forecasters
作者: Mouxiang Chen, Lefei Shen, Zhuo Li, Xiaoyun Joy Wang, Jianling Sun, Chenghao Liu
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2408.17253v3

摘要

arXiv:2408.17253v3 宣告类型: 替换-交叉 摘要:基础模型已经成为时间序列预测(TSF)的一种有前景的方法。现有的方法要么重新利用大型语言模型(LLMs),要么构建大规模时间序列数据集,以开发适用于通用预测的时间序列预测基础模型。然而,这些方法由于跨领域差距严重或领域内异质性而面临挑战。本文探索了一条新的途径,即从丰富的高质量自然图像中构建时间序列预测基础模型。我们的关键洞察是,预训练于ImageNet数据集上的视觉掩码自编码器可以自然地成为数值序列预测器。通过将TSF重新表述为图像重建任务,我们填补了图像预训练和TSF下游任务之间的差距。令人惊讶的是,提出的眼动TSF在不需要进一步的时间序列领域调整的情况下,其零样本预测性能优于现有的TSF基础模型。通过一周期的微调,眼动TSF可以进一步提高预测能力,并在大多数情况下实现最先进的性能。广泛的实验揭示了图像与真实世界时间序列之间的内在相似性,表明视觉模型可能为TSF提供“免费午餐”,并突显了未来跨模态研究的潜力。我们的代码可在 https://github.com/Keytoyze/VisionTS 公开获取。