摘要
arXiv:2502.01837v1 宣布类型: crossover
摘要:对边缘设备上深度神经网络(DNNs)的低功耗推理和训练的需求加剧了对既具有可扩展性又节能的算法的需求。尽管突触神经网络(SNNs)通过事件驱动的方式来高效地处理复杂的时空动态,但传统基于错误反向传播(BP)的方法由于计算和内存需求高,仍然使在资源受限的设备上训练SNNs充满挑战。在本文中,我们从生物学机制,如资格迹、事件时间依赖塑性以及神经活动同步中汲取灵感,引入了一种时空局部学习规则TESS,用于训练SNNs。我们的方法通过仅依赖于每个神经元内部本地可用的信号来解决时间和空间的功劳归属问题,从而使得计算和内存开销能够线性地与神经元的数量成比例增长,而与时间步数无关。尽管依赖于本地机制,我们展示了在边缘相关的具有挑战性的计算机视觉场景中性能与时间反向传播(BPTT)算法相当,例如IBM DVS手势数据集、CIFAR10-DVS以及CIFAR10和CIFAR100的时间版本的性能只相差约1.4个准确性点。能够同时保持低时间和内存复杂性并达到与BPTT相当的性能,TESS使得边缘设备的高效和可扩展的学习成为可能。