LLM2D
基于ADMM的脉冲神经网络训练方法
ADMM-Based Training for Spiking Neural Networks
作者: Giovanni Perin, Cesare Bidini, Riccardo Mazzieri, Michele Rossi
发布日期: 5/12/2025
arXiv ID: oai:arXiv.org:2505.05527v1

摘要

arXiv:2505.05527v1 公告类型: cross 摘要: 近年来,由于其在时间序列处理方面具有高潜力且能耗低,脉冲神经网络(SNNs)逐渐引起了广泛关注。然而,它们仍然缺乏一种专门且高效的训练算法。流行的基于随机梯度下降(SGD)导出算法改编的替代梯度回传(backpropagation with surrogate gradients)在作为SNNs的优化器时存在若干缺点。特别是,它在可扩展性和数值精度方面存在问题。在本文中,我们提出了基于交替方向乘子法(ADMM)的SNN训练新方法。我们的ADMM基训练方法旨在解决SNN步函数非可微的问题。我们对该问题进行建模,推导出闭式更新公式,并通过仿真概念验证实验展示了该优化器的收敛性、巨大的潜力以及可能的研究方向,以改善该方法。