LLM2D
用于不规则时间序列预测的连续时间线性位置嵌入
Continuous-Time Linear Positional Embedding for Irregular Time Series Forecasting
作者: Byunghyun Kim, Jae-Gil Lee
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.20092v1

摘要

在实际应用中,不规则采样时间序列预测,其特点是时间间隔不均匀,十分普遍。然而,以往的研究主要集中在规则时间序列预测,通常依赖于 Transformer 架构。为了将 Transformer 扩展到处理不规则时间序列,我们重点关注了用于表示数据时间信息的positional embedding。我们提出了 CTLPE,一种学习连续线性函数来编码时间信息的方法。通过学习连续时间函数和简洁的position表示,解决了不规则时间序列的两个挑战:不一致的观测模式和不规则的时间间隔。此外,通过学习基于神经控制微分方程的positional embedding,实证表明线性连续函数优于其他连续函数,并且从理论上证明了理想positional embedding的性质。CTLPE 在各种不规则采样时间序列数据集上优于现有技术,展示了其增强的有效性。