摘要
权重初始化对神经网络的收敛和性能影响显著。虽然Xavier和Kaiming初始化等传统方法被广泛使用,但它们往往难以满足脉冲神经网络(SNN)的需求,因为脉冲神经网络与人工神经网络(ANN)相比具有不同的要求。为了解决这个问题,我们引入了**IKUN**,这是一种与替代梯度函数集成的方差稳定初始化方法,专门为SNN设计。**IKUN** 稳定了信号传播,加速了收敛,并增强了泛化能力。实验表明,**IKUN** 将训练效率提高了高达**50%**,实现了**95%** 的训练精度和**91%** 的泛化精度。Hessian分析表明,**IKUN**训练的模型收敛到更平坦的极小值,其特征是Hessian特征值在正侧接近于零,从而促进了更好的泛化能力。该方法已开源,以便进一步探索:\href{https://github.com/MaeChd/SurrogateVarStabe}{https://github.com/MaeChd/SurrogateVarStabe}。