摘要
arXiv:2502.03287v2 宣告类型: replace-cross
摘要: 突触神经网络(SNNs)是具有生物启发性的第三代神经网络。最近的研究已经训练了与人工神经网络(ANNs)相媲美的深度SNN模型。尽管SNNs的事件驱动和稀疏特性显示出比ANNs更具能效计算的潜力,但SNN神经元具有随时间演变的内部状态,这可能会显著增加数据移动和存储需求,从而可能使其相对于ANNs的优势减弱。本文探讨了拥有神经元状态的能量影响及其如何受到对现实硬件架构(特别是高级内存层次结构)所选择映射的影响。因此,我们开发了STEMS,这是一种用于SNN的映射设计空间探索工具。STEMS 模型了SNN的状态化行为,并探索了层内和层间的映射优化,以最小化数据移动,同时考虑了空间和时间两个维度的SNN。使用STEMS,我们展示了在两个基于事件的视觉SNN基准上,减少12倍的 off-chip 数据移动和减少5倍的能量(基于层内优化)。最后,某些SNN层可能不需要神经元状态。通过对我们的一个基准进行神经元状态优化,我们展示了神经元状态减少20倍,并且在不损失精度的情况下性能提高了1.4倍。