摘要
脉冲神经网络(SNNs)因其受脑启发和节能的特性,被认为在人工智能(AI)的未来发展中具有巨大潜力。在当前SNNs的监督学习领域,与传统的时空反向传播(STBP)训练相比,在线训练可以有效地克服GPU内存爆炸的风险,并获得了广泛的学术关注。然而,目前提出的在线训练方法无法解决时间相关梯度的不可分离问题,仅仅旨在优化训练内存,导致在推理阶段与STBP训练模型相比没有性能优势。为了解决上述挑战,我们提出了高效多精度发射(EM-PF)模型,这是一个基于浮点脉冲和二进制突触权重的先进脉冲模型家族。我们指出,EM-PF模型可以有效地分离时间梯度,并在计算速度和内存占用方面实现全阶段优化。实验结果表明,EM-PF模型可以灵活地与各种技术相结合,包括随机反向传播、并行计算和通道注意力机制,在在线学习领域以极低的计算开销实现最先进的性能。