LLM2D
基于分布式PID控制的神经网络训练方法
A Neural Network Training Method Based on Distributed PID Control
作者: Jiang Kun
发布日期: 11/25/2024
arXiv ID: oai:arXiv.org:2411.14468v1

摘要

先前文章中,我们介绍了一种基于对称微分方程的神经网络框架。这个新颖的框架展现出完全的对称性,赋予其完美的数学特性。虽然我们已经考察了该系统的一些数学特性,但尚未详细讨论网络训练方法。本文借鉴传统反向传播算法的原理,提出了一种利用微分方程信号传播而非链式法则推导的替代训练方法。这种方法不仅保留了训练的有效性,而且具有增强的生物学可解释性。该方法的基础在于系统的可逆性,这源于其固有的对称性,这也是我们研究的关键方面。然而,仅此方法不足以进行有效的神经网络训练。为了解决这个问题,我们进一步引入了一种分布式比例-积分-微分 (PID) 控制方法,并强调其在闭环系统中的实现。通过结合这种方法,我们实现了更快的训练速度和更高的精度。这种方法不仅为神经网络训练提供了新的见解,也扩展了对控制方法的研究范围。为了验证其有效性,我们将此方法应用于 MNIST 数据集,证明了其实用性。