LLM2D
基于多尺度融合的脉冲神经网络用于侵入式脑机接口神经信号解码
Multiscale fusion enhanced spiking neural network for invasive BCI neural signal decoding
作者: Yu Song, Liyuan Han, Bo Xu, Tielin Zhang
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03533v1

摘要

脑机接口 (BCI) 是神经科学与人工智能的先进融合,需要对神经信号进行稳定且长期的解码。脉冲神经网络 (SNN) 凭借其神经元动力学和基于脉冲的信号处理,天生适合这项任务。本文提出了一种利用多尺度融合增强型脉冲神经网络 (MFSNN) 的新方法。MFSNN 模仿人类视觉感知中的并行处理和多尺度特征融合,以实现实时、高效且节能的神经信号解码。最初,MFSNN 采用时间卷积网络和通道注意力机制从原始数据中提取时空特征。然后,它通过跳跃连接整合这些特征,从而提高解码性能。此外,MFSNN 通过小批量监督泛化学习提高了跨天信号解码的泛化能力和鲁棒性。在两个基准侵入式 BCI 范式中,包括单手抓握和触摸以及中心和外侧伸手任务,MFSNN 在准确性和计算效率方面都超过了传统的机器学习方法,例如 MLP 和 GRU。此外,MFSNN 的多尺度特征融合框架非常适合在神经形态芯片上实现,为在线解码侵入式 BCI 信号提供了一种节能的解决方案。