LLM2D
前向-前向学习实现高效选择性潜在表示以检测全神经脉冲神经网络中的分布外数据
Forward-Forward Learning achieves Highly Selective Latent Representations for Out-of-Distribution Detection in Fully Spiking Neural Networks
作者: Erik B. Terres-Escudero, Javier Del Ser, Aitor Mart\'inez-Seras, Pablo Garcia-Bringas
发布日期: 2/20/2025
arXiv ID: oai:arXiv.org:2407.14097v2

摘要

arXiv:2407.14097v2 更新类型: 替换-交叉 摘要:近年来,人工智能(AI)模型在各个领域取得了显著的成功,但在两个关键领域仍存在挑战:确保对不确定输入的鲁棒性和在训练和推断过程中大幅提高模型效率。受生物系统启发的脉冲神经网络(SNNs)为克服这些局限性提供了一条有希望的途径。通过基于事件驱动的方式工作,SNNs实现了低能耗,并且能够自然地实现生物系统中已知的高抗噪方法。在本文中,我们探索了脉冲前向-前向算法(FFA)的潜力,利用其表示特性来解决这两个挑战,以实现对区间外(Out-of-Distribution,OoD)检测和可解释性的支持。为了实现这一点,我们利用FF网络中稀疏且高度专门化的神经潜在空间来估计样本属于训练分布的可能性。此外,我们提出了一种新颖的无梯度归因方法,用于检测将样本驱离类别分布的特征,解决了大多数视觉归因方法中存在的梯度缺失问题。我们将在著名的图像数据集(例如Omniglot、Not-MNIST、CIFAR10)上评估我们的OoD检测算法,其性能超越了最近文献中提出的适用于脉冲网络的OoD检测方法。此外,我们的归因方法精确地识别了显著的OoD特征,如伪影或缺失区域,从而为用户提供了一个视觉解释界面,以了解为什么未知输入被该方法识别为此类输入的原因。