摘要
arXiv:2505.00350v1 安全性驱动类型:横跨
摘要:在资源受限的设备上部署深度神经网络需要有效的模型压缩策略,以恰当平衡模型大小的减少与性能的保留。本研究介绍了一种新颖的安全性驱动的量化框架,该框架利用保留集系统地修剪和量化神经网络权重,从而优化模型复杂性而不牺牲准确性。提出的这种方法在卷积神经网络(CNN)和基于注意力的语言模型上进行了严格的评估,显示出其在不同架构范式中的适用性。实验结果表明,与原始未量化模型相比,我们的框架在测试准确率上可提高2.5%,同时保持初始模型大小的60%。与传统量化技术相比,我们的方法不仅能通过消除参数噪声和保留关键权重来增强泛化能力,还能减少方差,从而确保关键模型特征的保留。这些发现突显了安全性驱动量化作为在安全优化深度学习模型的一种稳健可靠策略的有效性。我们的框架的实现和全面的实验评估已公开在GitHub上。