LLM2D
有关回返神经网络上拉回吸引子维数的研究
On the dimension of pullback attractors in recurrent neural networks
作者: Muhammed Fadera
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2501.11357v2

摘要

arXiv:2501.11357v2 宣告类型: replace-cross 摘要:递归神经网络(RNNs)是高维状态空间模型,能够学习序列数据上的函数。最近有人猜测,特定类别的RNNs,即水库计算机,在被用于动态系统观察的训练后,可以被解释为嵌入。这一结果已经在线性水库系统的情况下得到了证实。在本文中,我们采用非自治动力系统的方法,建立了训练和预测阶段期间近似水库状态空间子集的分形维数的上界。我们证明,当输入序列来自一个N维可逆动力系统时,该集合的分形维度的上界为N。本文所得结果对于RNNs中的维数降低计算很有用,同时也可以用于基于时间序列有限观察估计动力系统的分形维度。这也是理解水库计算机嵌入性质的一步。