摘要
基于能量的学习算法,例如预测编码 (PC),因其理论特性(例如局部操作和生物学上合理的错误校正机制)而引起了机器学习社区的广泛关注。在这项工作中,我们通过动力系统理论的视角,对 PC 的稳定性、鲁棒性和收敛性进行了严格分析。我们证明,首先,PC 在其损失函数和残差能量函数的温和假设下是李雅普诺夫稳定的,这意味着由于其定义明确的能量最小化动力学,它对小的随机扰动具有内在的鲁棒性。其次,我们正式证明了 PC 更新通过合并高阶曲率信息来近似拟牛顿方法,这使得它们比通过反向传播 (BP) 训练的模型更稳定,并且能够在更少的迭代次数内收敛。此外,利用这个动力学框架,我们通过精确地描述高阶导数的作用,为 PC 与其他算法(即 BP 和目标传播 (TP))之间的相似性提供了新的理论界限。这些边界是通过对 Hessian 结构的详细分析得出的,表明 PC 比 TP 更接近拟牛顿更新,从而对 PC 相比于传统学习方法的稳定性和效率提供了更深入的理解。