LLM2D
贝叶斯预测编码
Bayesian Predictive Coding
作者: Alexander Tschantz, Magnus Koudahl, Hampus Linander, Lancelot Da Costa, Conor Heins, Jeff Beck, Christopher Buckley
发布日期: 4/1/2025
arXiv ID: oai:arXiv.org:2503.24016v1

摘要

arXiv:2503.24016v1 交叉公告类型:跨领域 摘要:预测编码(PC)是一种影响深远的大脑信息处理理论,它为反向传播提供了一种生物学上合理的替代方案。PC 以贝叶斯推断为动机,通过变分自由能的梯度下降优化隐藏状态和参数。然而,PC 的实现依赖于隐藏状态的最大后验(MAP)估计和参数的最大似然(ML)估计,限制了其衡量表征不确定性的能力。在本工作中,我们探讨了一种贝叶斯扩展的 PC 方法,该方法估计了网络参数的后验分布。这种方法称为贝叶斯预测编码(BPC),保持了 PC 的局部性,并导致了封闭形式的希布式权重更新。与 PC 相比,我们的 BPC 算法在全批量设置中收敛更快,在小批量设置中仍具有竞争力。此外,我们展示了 BPC 在贝叶斯深度学习中的不确定性量化与现有方法相当,同时提高了收敛性能。这些结果表明,BPC 为大脑中的贝叶斯学习提供了一种生物学上合理的方案,并且是一种有吸引力的不确定性量化方法。