LLM2D
重访脉冲神经网络中的重置机制以进行序列建模:针对二元激活RNN的专门离散化方法
Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
作者: Enqi Zhang
发布日期: 5/1/2025
arXiv ID: oai:arXiv.org:2504.17751v3

摘要

arXiv:2504.17751v3 Announce Type: 替换交叉 摘要:在图像识别领域,突触神经网络(SNNs)已经实现了与传统人工神经网络(ANNs)性能相当的表现。在这样的应用中,SNNs 本质上充当着具有量化激活值的传统神经网络。本文则从另一个替代视角出发,将 SNNs 视为用于序列建模任务的二值激活递归神经网络(RNNs)。从这一视角出发,当前的 SNN 架构在序列建模方面面临着几个基本挑战:(1)传统模型缺乏有效的长距离序列建模机制;(2)SNNs 中的生物启发组件(如重置机制和去极化期应用)在序列任务中仍然在理论上被过度探索;(3)SNN 中的类似 RNN 的计算范式阻止了在不同时间步的并行训练。为解决这些挑战,本研究对基于二值激活 RNN 的 SNN 序列模型中重置操作和去极化期的基本机制进行了系统的分析。我们重新审查了这些生物机制是否严格必要以产生稀疏的突触放电模式,并提供了新的理论解释和见解,最终提出了一种固定去极化期的 SNN 架构用于序列建模。