arXiv:2403.16933v3 公告类型: replace-cross 摘要：物理神经网络中的神经元，受空间-时间局部性约束的束缚，如何执行高效的功劳归属（credit assignment）问题，很大程度上仍然是一个开放的问题。在机器学习中，答案几乎是通过空间和时间的误差反向传播算法给出的。然而，该算法众所周知地依赖于生物上不可靠的假设，特别是在空间-时间（非）局部性方面。如实时递归学习这样的替代前向传播模型仅部分解决了局部性问题，但仅在因存储需求过高的可扩展性问题上付出了代价。我们引入了广义潜均衡（Generalized Latent Equilibrium，GLE）计算框架，以在物理动态神经网络中实现全空间-时间局部性功劳归属。我们首先基于神经元本地差异定义了一种能量，从这种能量出发，我们推导了神经元动力学通过稳态获得，并通过梯度下降获得参数动力学。由此产生的动力学可以解释为在具有连续时间神经元动力学和持续局部突触可塑性的深层皮层网络中，对空间和时间误差反向传播的实时、生物上可靠的近似。特别地，GLE 利用了树突树的形态学，以使单个神经元能够存储和处理更复杂的信息，并且生物神经元能够根据膜电位相位调整其输出速率，这是信息传播两个方向上都必不可少的功能。对于前向计算，它使得时连续输入到神经元空间的映射成为可能，有效地执行了空间-时间卷积。对于后向计算，它允许反馈信号的时序反转，从而近似出用于有用地参数更新所需的伴随变量。