arXiv:2409.02322v2 Announce Type: replace-cross 摘要：基础模型，尤其是大型语言模型（LLMs），已经革新了文本和视频处理，但时间序列数据对这类方法提出了独特的挑战，因为它们具有特定领域特征，如缺失值、多分辨率特性等。此外，事实上常用的自回归变换器倾向于在预训练数据中学习确定性的时间依赖关系，同时忽略了内在的不确定性，并缺乏物理约束的整合。在本文中，我们介绍了TimeDiT模型，这是一种将基于变换器的时间依赖学习与基于扩散的概率采样相结合的扩散变换器模型。TimeDiT采用统一的掩码机制来协调跨多种任务的训练和推理过程，同时引入了一种基于理论的、无需微调的模型编辑策略，该策略在采样过程中允许灵活地整合外部知识。鉴于将多个下游任务统一到一个模型下的挑战，我们的系统评估表明，TimeDiT不仅在基本任务，即预测和插补，以及零样本/微调下表现出有效性；而且在领域任务，即多分辨率预测、异常检测和数据生成中表现有效，将它确立为一种“原型基础模型”，填补了通用模型与领域特定模型之间的差距。