摘要
arXiv:2504.14015v1 Announce Type: 多领域交叉
摘要:我们引入了一个用于突触神经网络(SNNs)的新概念,该概念源自用于分析人工神经网络(ANNs)的表达能力和训练可及性的“线性片段”的想法。我们证明了SNNs的输入域可以分解为不同的因果区域,在这些区域内,输出脉冲时间相对于输入脉冲时间和网络参数呈现出局部Lipschitz连续性。这些区域的数量——我们称之为“因果片段”——是SNNs逼近能力的度量。特别地,我们在模拟中表明,那些在训练集上产生大量因果片段的参数初始化与SNN训练成功之间存在强烈的相关性。此外,我们发现具有纯正权重的前馈SNNs表现出惊人的大量因果片段,这使它们能够在基准任务中实现竞争性的性能水平。我们认为,因果片段不仅是一个强大且基于原理的工具来改进SNNs,而且可能会为将来比较SNNs和ANNs开辟新的途径。