arXiv:2502.05925v1 交叉公告类型: cross 摘要: 反向传播 (BP) 长期以来一直是训练神经网络的主要方法，因其有效性而占主导地位。然而，许多替代方法广泛归类为反馈对齐，已经被提出，其中许多方法的动机是寻找生物可行的学习机制。尽管它们具有理论上的吸引力，但这些方法一直表现不如BP，导致研究兴趣下降。在本工作中，我们重新审视了这些方法的作用，并探讨了如何将它们整合到标准的神经网络训练流水线中。具体而言，我们提出了使用Sign-Symmetry 学习规则微调 BP 预训练模型，并表明这种方法不仅在性能上保持与BP的相当，还能提高鲁棒性。通过在多个任务和基准上的广泛实验，我们确立了我们方法的有效性。我们的发现为神经网络训练提供了新的视角，并为利用生物启发式学习规则在深度学习中的新研究方向打开了大门。