LLM2D
TS-RAG:基于检索增强生成的时间序列基础模型是更强的零-shot 预测器
TS-RAG: Retrieval-Augmented Generation based Time Series Foundation Models are Stronger Zero-Shot Forecaster
作者: Kanghui Ning, Zijie Pan, Yu Liu, Yushan Jiang, James Y. Zhang, Kashif Rasul, Anderson Schneider, Lintao Ma, Yuriy Nevmyvaka, Dongjin Song
发布日期: 4/3/2025
arXiv ID: oai:arXiv.org:2503.07649v2

摘要

arXiv:2503.07649v2 宣告类型: 替换-交叉 摘要:近年来,大型语言模型(LLMs)和基础模型(FMs)在时间序列预测任务中变得流行。然而,针对预测任务微调大型语言模型(LLMs)可以使其适应特定领域,但可能在跨多样且未见数据集上表现不佳。与此同时,现有的时间序列基础模型(TSFMs)缺乏内在的领域适应机制,可解释性有限,这使得它们在零样本预测中不太理想。为此,我们提出了一种基于检索增强生成的时间序列预测框架TS-RAG,该框架增强了TSFMs的一般化能力和可解释性。具体而言,TS-RAG 利用预训练的时间序列编码器从专用知识数据库中检索与给定时间序列查询语义相关的时序片段,并结合上下文模式。接下来,我们开发了一种可学习的 Experts 组合模块(MoE-based augmentation module),该模块动态地将检索到的时间序列模式与TSFM对输入查询的表示融合在一起,提高预测准确性,而无需任务特定的微调。在七个公开基准数据集上的彻底实验证明,TS-RAG 达到了最先进的零样本预测性能,在多种领域中表现优于TSFMs,并展示了所需的可解释性。