LLM2D
NuwaTS:一个修复所有不完整时间序列的基础模型
NuwaTS: a Foundation Model Mending Every Incomplete Time Series
作者: Jinguo Cheng, Chunwei Yang, Wanlin Cai, Yuxuan Liang, Qingsong Wen, Yuankai Wu
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2405.15317v3

摘要

时间序列插补对于许多现实世界中的应用至关重要,并且已被广泛研究。然而,现有模型通常需要针对特定缺失模式、变量或领域的专门设计,这限制了它们的泛化能力。此外,当前的评估框架主要关注特定领域的任务,并且通常依赖于时间上的训练/验证/测试数据分割,这无法严格评估模型跨未见变量或领域泛化的能力。在本文中,我们提出了**NuwaTS**,一个将预训练语言模型 (PLM) 用于一般时间序列插补的新框架。一旦训练完成,NuwaTS 可以应用于跨任何领域插补缺失数据。我们为每个子序列补丁引入了专门的嵌入,捕捉有关补丁、其缺失数据模式及其统计特征的信息。通过将对比学习与插补任务相结合,我们训练 PLM 创建一个通用的、一劳永逸的插补模型。此外,我们采用了一种即插即用的微调方法,能够以最小的调整有效地适应特定领域的任务。为了评估跨变量和跨域泛化,我们提出了一种新的基准测试协议,该协议沿变量维度划分数据集。在来自不同领域的超过 1700 万个时间序列样本上的实验结果表明,NuwaTS 在我们提出的基准测试协议下,在各种数据集上优于最先进的特定领域模型。此外,我们表明 NuwaTS 能够泛化到其他时间序列任务,例如预测。我们的代码可在 https://github.com/Chengyui/NuwaTS 获取。