摘要
arXiv:2412.05667v3 宣布类型: replace-cross
摘要:神经网络是一组在多层中堆叠起来的神经元,以模仿人类大脑中的生物神经元。神经网络已经使用基于梯度下降策略的反向传播算法进行了几十年的训练。已经开发出多种变体以改进反向传播算法。神经网络中的损失函数通过反向传播进行优化,但在构建的神经网络流形中存在多个局部最小值。我们获得了与这些局部最小值匹配的多个解。梯度下降策略无法避免局部最小值的问题,由于初始化的原因而卡在局部最小值中。粒子群优化(PSO)被提出,以在损失函数的搜索空间中选择最优的局部最小值。搜索空间仅限于PSO算法中的实例粒子,有时无法选择最佳解。在本方法中,我们通过分别训练单个神经元来克服梯度下降和PSO算法的限制,从而作为一组神经元形成的网络集体解决问题。我们的代码和数据可在https://github.com/dipkmr/train-nn-wobp/ 获取。