摘要
尽管预训练的Transformer和重新编程的基于文本的大型语言模型(LLM)在时间序列任务上表现出色,但最佳架构在不同任务之间差异很大,大多数模型都狭隘地关注特定领域,例如时间序列预测。在一个模型中统一预测性和生成性时间序列任务仍然具有挑战性。我们引入了UniTS,这是一个统一的多任务时间序列模型,它利用任务标记将预测性和生成性任务集成到单个框架中。UniTS采用改进的Transformer块来捕获通用的时间序列表示,从而能够从异构的多领域预训练数据集(其特征在于多种动态模式、采样率和时间尺度)迁移到具有各种任务规范和数据领域的广泛下游数据集。在涵盖人类活动传感器、医疗保健、工程和金融的38个数据集上进行的测试表明,UniTS 的性能优于12个预测模型、20个分类模型、18个异常检测模型和16个插补模型,包括经过调整的基于文本的LLM。UniTS还在应用于新领域和新任务时展现出强大的少样本和提示能力。在单任务设置中,UniTS 优于具有竞争力的任务专用时间序列模型。代码和数据集可在https://github.com/mims-harvard/UniTS 获取。