摘要
arXiv:2504.13951v1 Announce Type: cross
摘要:在本研究中,我们探讨了递归神经网络(RNNs)的连续时间动态,重点关注具有非线性激活函数的系统。本工作的目标是在不会收敛到静止的固定点的情况下,识别递归神经网络表现出持续振荡行为的条件。我们确立了反对称权重矩阵对于在无论是线性还是非线性配置中都能确保稳定极限环的本质性。我们进一步证明,类双曲正切(奇函数、有界和连续)的激活函数通过在状态空间中确保运动不变性,来维持这些振荡动力学。数值模拟展示了非线性激活函数不仅能够维持极限环,还能通过图示增强系统积分过程的数值稳定性,减轻与向前欧拉法相关的那些不稳定性。分析实验结果强调了在设计能够捕捉复杂时序依赖性的神经架构时的实用考虑,即在递归模型中增强记忆技能的策略。