arXiv:2502.14023v1 宣布类型: cross 摘要：虽然基础人工智能模型在分类和决策任务方面表现出色，但它们的高能耗使得它们不适合受能耗限制的应用。受大脑效率的启发，由于脉冲神经网络（SNNs）具有事件驱动的特性且兼容神经形态芯片，它们已成为一种可行的替代方案。本文提出了一种结合知识蒸馏和集成学习的新型系统，以弥合人工神经网络（ANNs）和SNNs之间的性能差距。一个基础人工智能模型作为教师网络，指导一个由SNN学生组织的集成，称为脉冲神经集成（SNE）。SNE使教师知识的分离成为可能，允许每个学生专注于预测其某个特定方面的内容，同时处理相同的输入。SNE的核心创新在于利用知识蒸馏，在教师特征空间信息分割（分离）增强的基础上，动态激活集成中的一部分SNN模型。通过只动态激活这些SNN学生的一部分，该系统在保持准确性的前提下实现了显著的能耗节省。此外，与教师网络相比，SNE具有更高的效率，在CIFAR-10数据集的准确率下降2%的情况下，计算需求减少了20倍。这种分离过程在CIFAR-10数据集上相对于其他分区方案实现了高达2.4%的准确率提升。最后，我们比较分析了SNE在噪声条件下的性能，展示了其相比其ANN教师增强的鲁棒性。总之，SNE为受能耗限制的应用提供了有前途的新方向。