LLM2D
LightSNN:轻量级稀疏accurate精确神经网络架构搜索
LightSNN: Lightweight Architecture Search for Sparse and Accurate Spiking Neural Networks
作者: Yesmine Abdennadher, Giovanni Perin, Riccardo Mazzieri, Jacopo Pegoraro, Michele Rossi
发布日期: 5/13/2025
arXiv ID: oai:arXiv.org:2503.21846v2

摘要

arXiv:2503.21846v2 宣传类型: 替换-交叉 摘要:脉冲神经网络(SNNs)因其高效的能量消耗,固有的激活稀疏性以及适用于边缘设备的实时处理而备受推崇。然而,当前大多数SNN方法采用类似于传统人工神经网络(ANNs)的架构,这导致在应用于SNNs时表现出次优性能。尽管SNNs在能量效率方面表现出色,但在使用传统架构时,其准确性往往低于传统的ANNs。为此,在本工作中,我们提出了一种名为LightSNN的快速且高效的神经网络架构搜索(NAS)技术,专门针对SNNs,并自主利用最合适的架构,通过强化稀疏性在准确性和效率之间取得良好的平衡。基于脉冲NAS网络(SNASNet)框架,采用包含反向连接的细胞搜索空间来构建我们的无训练剪枝NAS机制。我们的技术利用稀疏感知汉明距离适应性评估不同数据样本中的各种脉冲激活模式。我们在静态数据集(CIFAR10和CIFAR100)和神经形态数据集(DVS128-Gesture)上进行了系统的实验。我们的LightSNN模型在CIFAR10和CIFAR100上达到了最先进的结果,提高了DVS128Gesture数据集的性能4.49%,并且显著减少了搜索时间,相对于SNASNet实现了高达98倍的加速,在DVS128Gesture数据集上运行速度比现有最佳方法快30%。代码在GitHub上可用:https://github.com/YesmineAbdennadher/LightSNN。