LLM2D
ILIF:用于神经网络过激活的时空抑制漏泄积分-阈值神经元
ILIF: Temporal Inhibitory Leaky Integrate-and-Fire Neuron for Overactivation in Spiking Neural Networks
作者: Kai Sun, Peibo Duan, Levin Kuhlmann, Beilun Wang, Bin Zhang
发布日期: 5/16/2025
arXiv ID: oai:arXiv.org:2505.10371v1

摘要

arXiv:2505.10371v1 宣告类型: cross 摘要: 突触神经网络(SNN)因其能效高、事件驱动的处理和生物可行性而受到了越来越多的关注。通过反向传播训练SNN时,使用替代梯度来近似非可微的尖峰函数,但这些替代梯度仅在膜电位接近放电阈值的狭窄范围内保持非零导数,这被称为替代梯度支持宽度γ。我们识别出一个主要挑战,称为γ的两难困境:相对较大的γ会导致过度激活,表现为神经元的过度放电,这反过来增加了能耗,而较小的γ会导致梯度消失并减弱时间依赖性。为了解决这一问题,我们提出了一种时间抑制性泄漏积分-放电(ILIF)神经元模型,受生物抑制机制的启发。该模型结合了相互连接的抑制单元以调节膜电位和电流,有效地缓解了过度激活,同时保持梯度传播。理论分析表明,ILIF在克服γ的两难困境方面表现出色,而广泛的多数据集实验显示,ILIF通过降低放电率提高能效,稳定训练并提高准确性。代码可在github.com/kaisun1/ILIF找到。