arXiv:2212.01232v3 公告类型: 交叉替换 摘要：基于事件的机器学习有望在未来的神经形态硬件上实现更高效的AI。在这里，我们研究了最近发现的Eventprop算法，该算法用于精确梯度在脉冲神经网络中的梯度下降，探讨如何将其扩展到具有挑战性的关键词识别基准测试。我们使用GPU增强的神经网络框架实现Eventprop，并将其用于在Spiking Heidelberg Digits和Spiking Speech Commands数据集上训练递归脉冲神经网络。我们发现学习主要依赖于损失函数，并扩展了Eventprop以适用于更广泛的损失函数，以实现有效的训练。随后，我们测试了大量数据增强和技术以及不同的网络结构；并探索了异构和可训练的时间尺度。我们发现，在与两种特定的数据增强、合适的正则化和延迟线输入结合使用时，具有一个递归层的Eventprop网络在Spiking Heidelberg Digits上达到了最先进的性能，并在Spiking Speech Commands上获得了良好的准确度。与当前最领先的替代梯度方法相比，我们的GeNN Eventprop实现速度快3倍，内存使用量少4倍。这项工作是朝着低功耗神经形态替代当前机器学习范式的重大步骤。