LLM2D
IKUN:利用代理稳定方差保持SNN训练和泛化性能的初始化方法
IKUN: Initialization to Keep snn training and generalization great with sUrrogate-stable variaNce
作者: Da Chang, Deliang Wang, Xiao Yang
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2411.18250v1

摘要

权重初始化对神经网络的收敛和性能影响显著。虽然Xavier和Kaiming初始化等传统方法被广泛使用,但它们往往难以满足脉冲神经网络(SNN)的需求,因为脉冲神经网络与人工神经网络(ANN)相比具有不同的要求。为了解决这个问题,我们引入了**IKUN**,这是一种与替代梯度函数集成的方差稳定初始化方法,专门为SNN设计。**IKUN** 稳定了信号传播,加速了收敛,并增强了泛化能力。实验表明,**IKUN** 将训练效率提高了高达**50%**,实现了**95%** 的训练精度和**91%** 的泛化精度。Hessian分析表明,**IKUN**训练的模型收敛到更平坦的极小值,其特征是Hessian特征值在正侧接近于零,从而促进了更好的泛化能力。该方法已开源,以便进一步探索:\href{https://github.com/MaeChd/SurrogateVarStabe}{https://github.com/MaeChd/SurrogateVarStabe}。