LLM2D
TESS:一种可扩展的时空局部学习规则用于脉冲神经网络
TESS: A Scalable Temporally and Spatially Local Learning Rule for Spiking Neural Networks
作者: Marco Paul E. Apolinario, Kaushik Roy, Charlotte Frenkel
发布日期: 2/5/2025
arXiv ID: 2502.01837

摘要

arXiv:2502.01837v1 宣布类型:交叉 摘要:对边缘设备上深度神经网络(DNNs)的低功耗推理和训练的需求已经加强了对既可扩展又节能的算法的需求。尽管脉冲神经网络(SNNs)通过事件驱动的方式处理复杂的空时动态,使其能够高效地进行推理,但在资源受限的设备上训练它们仍然具有挑战性,因为传统的基于错误反向传播(BP)的方法在计算和内存需求方面较高。在本工作中,我们借鉴了类似于生物机制的机制,如资格迹、时间依赖突触可塑性和神经活动同步,引入了TESS,这是一种时空局部的学习规则,用于训练SNNs。我们的方法通过依赖于每个神经元内部本地可用的信号解决了时间和空间的信用分配问题,从而使得计算和内存开销能够线性地与神经元的数量相关联,而不依赖于时间步的数量。尽管依赖于局部机制,我们在具有挑战性的适用于边缘的计算机视觉场景中,如IBM DVS手势数据集、CIFAR10-DVS以及CIFAR10和CIFAR100的时间版本中,展示了与时间反向传播(BPTT)算法相当的性能,在准确度方面仅相差约1.4个点。TESS能够在保持低时间和内存复杂性的同时产生与BPTT相当的性能,从而在边缘实现高效且可扩展的学习。