LLM2D
基于深度状态空间模型的可扩展神经形态传感信号事件级处理
Scalable Event-by-event Processing of Neuromorphic Sensory Signals With Deep State-Space Models
作者: Mark Sch\"one, Neeraj Mohan Sushma, Jingyue Zhuge, Christian Mayr, Anand Subramoney, David Kappel
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2404.18508v3

摘要

基于事件的传感器因其快速的响应时间和将传感器数据编码为连续时间差而非常适合实时处理。然而,当数据转换为基于帧的格式时,这些和其他有价值的特性(例如高动态范围)会被抑制。然而,目前大多数方法要么将事件折叠成帧,要么在直接逐事件处理事件数据时无法扩展。在这项工作中,我们解决了大规模处理此类传感器发出的长事件流的逐事件建模的关键挑战,这对神经形态计算来说是一个特别相关的问题。虽然先前的方法最多可以处理几千个时间步长,但我们基于现代循环深度状态空间模型的模型可以扩展到数百万事件的事件流,用于训练和推理。我们利用其稳定的参数化来学习长期依赖关系、沿序列维度的并行化及其有效整合异步事件的能力,从而将其扩展到长的事件流。我们进一步用新颖的以事件为中心的技术增强这些模型,使我们的模型能够在几个基于事件的基准测试中达到或超过最先进的性能。在脉冲语音命令任务中,我们将最先进水平提高了 7.7%,达到 88.4%。在 DVS128-Gestures 数据集上,我们在不使用帧或卷积神经网络的情况下取得了具有竞争力的结果。我们的工作首次证明,可以使用完全基于事件的处理和纯循环网络在几个基于事件的基准测试中实现最先进的任务性能。