LLM2D
重新审视递归神经网络在序列建模中的重置机制:针对二元激活RNN的专用离散化方法
Revisiting Reset Mechanisms in Spiking Neural Networks for Sequential Modeling: Specialized Discretization for Binary Activated RNN
作者: Enqi Zhang
发布日期: 4/29/2025
arXiv ID: oai:arXiv.org:2504.17751v2

摘要

arXiv:2504.17751v2 声明类型: 替换-交叉 摘要:在图像识别领域,脉冲神经网络(SNNs)已经实现了与传统人工神经网络(ANNs)相当的性能。在这样的应用中,SNNs实际上作为具有量化激活值的传统神经网络运行。本文从另一个视角出发,将SNNs视为用于序列建模任务的二元激活递归神经网络(RNNs)。从这个角度来看,目前的SNN架构在序列建模任务中面临几个基本挑战:(1)传统模型缺乏有效的长程序列建模机制;(2)SNNs中的生物启发组件(如重置机制和绝器期的应用)在序列任务中的理论探索仍相对不足;(3)SNN中的类似RNN的计算范式妨碍了在不同时间步长上的并行训练。为了解决这些挑战,本研究对基于二元激活RNN的SNN序列模型中的重置操作和绝器期的基本机制进行了系统的分析。我们重新审视这些生物机制是否是生成稀疏脉冲模式的严格必要条件,提供了新的理论解释和见解,并最终提出了固定绝器期SNN架构用于序列建模。