摘要
我们介绍了一种基于互连查找表的可微权重神经网络 (DWN) 模型。通过一种新颖的扩展有限差分技术对二值进行近似微分,实现了 DWN 的训练。我们提出了可学习映射、可学习约简和谱正则化来进一步提高这些模型的准确性和效率。我们在三种边缘计算环境中评估了 DWN:(1) 基于 FPGA 的硬件加速器,与最先进的解决方案相比,它在延迟、吞吐量、能源效率和模型面积方面表现出优越性;(2) 低功耗微控制器,在严格的内存限制下,它比 XGBoost 实现了更好的精度;(3) 超低成本芯片,在精度和预测硬件面积方面始终优于小型模型。DWN 在表格数据集上的表现也优于领先方法,平均排名更高。总的来说,我们的工作将 DWN 定位为边缘兼容高吞吐量神经网络的开创性解决方案。