LLM2D
关于可学习嵌入正则化在时间序列预测中的研究
On the Regularization of Learnable Embeddings for Time Series Forecasting
作者: Luca Butera, Giovanni De Felice, Andrea Cini, Cesare Alippi
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2410.14630v2

摘要

arXiv:2410.14630v2 通知类型: 交叉替换 摘要:在预测多时间序列时,考虑到每个序列的个别特征可能会具有挑战性。为了解决这个问题,现代的时间序列分析深度学习方法结合了一个共享的(全局)模型和特定于每个时间序列的局部层,通常以可学习嵌入的形式实现。理想情况下,这些局部嵌入应该编码每个序列独特动态的意义表示。然而,当这些嵌入作为预测模型的参数端到端学习时,它们可能会变成仅仅是序列标识符。然后,共享的处理块可能会依赖于这些标识符,限制了它们在新上下文中的可移植性。在本文中,我们通过调查方法来正则化时间序列处理中局部可学习嵌入的学习来解决这一问题。具体来说,我们进行了同类中第一个广泛的实证研究,并展示了这些正则化如何在广泛采用的架构中一致地提高性能。此外,我们展示了通过嵌入扰动来阻止局部和全局参数的共同适应的方法在这种情况下特别有效。在这方面,我们纳入了多个基于扰动的正则化方法的比较,甚至在训练过程中定期重置嵌入。获得的结果为理解可学习局部参数与共享处理层之间的相互作用提供了重要贡献:现代时间序列处理模型中的一个关键挑战,并朝着开发有效的时序基础模型迈出了一步。