LLM2D
从集合学习视角重新思考脉冲神经网络
Rethinking Spiking Neural Networks from an Ensemble Learning Perspective
作者: Yongqi Ding, Lin Zuo, Mengmeng Jing, Pei He, Hanpu Deng
发布日期: 2/21/2025
arXiv ID: oai:arXiv.org:2502.14218v1

摘要

arXiv:2502.14218v1 宣告类型: cross 摘要: 脉冲神经网络(SNNs)表现出卓越的能源效率,但性能有限。在这篇论文中,我们将SNNs视为具有共享架构和权重的时间子网络集合,并强调一个严重影响其性能的关键问题:时间步骤之间神经膜电位初始状态的显著差异导致子网络输出不稳定,从而导致性能下降。为了解决这个问题,我们通过膜电位平滑以及时间相邻子网络的引导来促进膜电位分布的一致性和输出的一致性,以提高整体稳定性和性能。此外,膜电位平滑有助于信息的前向传播和梯度的后向传播,缓解了著名的梯度消失时间问题。我们的方法仅需要对脉冲神经元进行轻微修改,而不改变网络结构,从而使得我们的方法具有通用性,并且在1D语音、2D物体和3D点云识别任务中表现出一致性的性能提升。特别是,在具有挑战性的CIFAR10-DVS数据集中,我们仅使用四个时间步骤就达到了83.20%的准确性。这为我们释放SNNs的潜力提供了宝贵的见解。