LLM2D
实现除法归一化的循环神经网络的无条件稳定性
Unconditional stability of a recurrent neural circuit implementing divisive normalization
作者: Shivang Rawat, David J. Heeger, Stefano Martiniani
发布日期: 9/30/2024
arXiv ID: oai:arXiv.org:2409.18946v1

摘要

循环神经模型的稳定性是一个重大挑战,尤其是在开发能够无缝训练的生物学上合理的脑动力学模型方面。传统的皮层回路模型因动力学系统中广泛的非线性而难以训练,导致优化问题具有难以施加的非线性稳定性约束。相反,循环神经网络 (RNN) 在处理顺序数据方面表现出色,但缺乏生物学合理性和可解释性。在这项工作中,我们通过将动态除法归一化 (DN) 与 ORGaNICs 的稳定性联系起来来解决这些挑战,ORGaNICs 是一种生物学上合理的循环皮层回路模型,它动态地实现了 DN,并且已被证明可以模拟各种神经生理现象。通过使用李雅普诺夫的间接方法,我们证明了当循环权重矩阵为单位矩阵时,任意维度的 ORGaNICs 回路具有无条件局部稳定性的显著特性。因此,我们将 ORGaNICs 与耦合阻尼谐振子系统联系起来,这使我们能够推导出电路的能量函数,为电路和单个神经元的目标提供了规范性原则。此外,对于一般的循环权重矩阵,我们证明了二维模型的稳定性,并通过实验证明了稳定性在更高维度上仍然成立。最后,我们表明,由于 ORGaNICs 具有内在的稳定性特性和自适应时间常数,它可以通过时间反向传播进行训练,而无需梯度裁剪/缩放,从而解决了梯度爆炸、消失和振荡问题。通过评估模型在 RNN 基准上的性能,我们发现 ORGaNICs 在静态图像分类任务上优于其他脑动力学模型,并且在顺序任务上与 LSTM 的性能相当。