LLM2D
LightSNN:轻量级稀疏准确脉冲神经网络架构搜索
LightSNN: Lightweight Architecture Search for Sparse and Accurate Spiking Neural Networks
作者: Yesmine Abdennadher, Giovanni Perin, Riccardo Mazzieri, Jacopo Pegoraro, Michele Rossi
发布日期: 3/31/2025
arXiv ID: oai:arXiv.org:2503.21846v1

摘要

arXiv:2503.21846v1 类别: cross 摘要: 好的脉冲神经网络(SNNs)因其节能性、固有的激活稀疏性以及适用于边缘设备的实时处理能力而受到高度评价。然而,目前大多数SNN方法采用的传统人工神经网络(ANNs)结构类似,导致在应用于SNNs时性能不足。尽管SNNs在节能方面表现出色,但在使用传统架构时,它们的准确性通常低于传统ANNs。为应对这一问题,本文提出了一种名为LightSNN的快速且高效的脉冲神经网络架构搜索(NAS)技术,该技术专门针对SNNs,能够自主利用最合适的架构,通过强制稀疏性在准确性和效率之间取得良好平衡。基于脉冲NAS网络(SNASNet)框架,我们利用包括反向连接的基于细胞的搜索空间构建了一个无需训练的修剪基NAS机制。我们的技术通过具有稀疏性意识的汉明距离适应性评估,对不同数据样本的多种脉冲激活模式进行评估。我们在静态数据集(CIFAR10和CIFAR100)和神经形态数据集(DVS128-Gesture)上进行了彻底的实验。我们的LightSNN模型在CIFAR10和CIFAR100上达到了最先进的结果,DVS128-Gesture数据集上的性能提高了4.49%,并且显著缩短了搜索时间,特别地,与SNASNet相比,搜索时间加快了98倍,在DVS128-Gesture数据集上,我们的模型比现有最佳方法快30%。