LLM2D
通过激活函数选择平衡嵌入式DNN的 robustness和效率
Balancing Robustness and Efficiency in Embedded DNNs Through Activation Function Selection
作者: Jon Guti\'errez Zaballa, Koldo Basterretxea, Javier Echanobe
发布日期: 4/8/2025
arXiv ID: oai:arXiv.org:2504.05119v1

摘要

arXiv:2504.05119v1 Announce Type: cross 摘要:基于机器学习的嵌入式系统,如航空和自动驾驶等领域中的安全关键应用,必须能抵御由软错误引起的扰动。随着晶体管几何尺寸的缩小和电压的降低,现代电子设备变得更易受到背景辐射的影响,从而增加了软错误导致的故障的担忧。深层神经网络(DNNs)对这些错误的抗扰性不仅取决于目标设备的技术,还取决于模型结构以及其参数的数值表示和算术精度。用于减少内存占用和计算复杂度的压缩技术,如剪枝和量化,改变了模型的结构和表示方式,从而影响软错误的抗扰性。在这方面,虽然常常被忽视,但激活函数(AFs)的选择不仅影响准确性和训练性,还影响压缩性和抗错误能力。本文探讨了使用有界激活函数来增强对参数扰动的抗扰性的方法,同时采用技术无关的方法评估其对模型准确度、压缩性和计算负载的影响。我们集中研究了为高光谱图像语义分割开发的编码器-解码器卷积模型,并将其应用于自动驾驶系统。实验是在AMD-Xilinx的KV260 SoM上进行的。