LLM2D
自动剪枝通过类别信息引导的结构化拉索
Automatic Pruning via Structured Lasso with Class-wise Information
作者: Xiang Liu, Mingchen Li, Xia Li, Leigang Qu, Zifan Peng, Yijun Song, Zemin Liu, Linshan Jiang, Jialin Li
发布日期: 2/14/2025
arXiv ID: oai:arXiv.org:2502.09125v1

摘要

arXiv:2502.09125v1 剪枝类型: cross 摘要:大多数剪枝方法集中在神经网络的不重要滤波器上。然而,由于缺乏针对类别的数据考虑,它们在剪枝过程中面临着统计信息丢失的问题。在本文中,从利用精确的类别信息进行模型剪枝的角度出发,我们利用结构化lasso,并提供信息瓶颈理论的指导。我们的方法确保在剪枝过程中保留统计信息。借助这些技术,我们提出了两种创新的自适应网络剪枝方案:基于信息瓶颈的稀疏图结构lasso剪枝(\textbf{sGLP-IB})和基于信息瓶颈的稀疏树导向lasso剪枝(\textbf{sTLP-IB})。关键方面是使用sGLP-IB和sTLP-IB剪枝模型滤波器,以更好地捕捉类别相关的性。在大量实验中,与多种最先进的方法相比,我们的方法在三个数据集和六种模型架构上均表现更优。例如,使用VGG16模型在CIFAR-10数据集上,我们实现了85%的参数减少、61%的FLOPs减少,并保持了94.10%的准确率(比原始模型高出0.14%);使用ResNet架构在ImageNet上,我们减少了55%的参数,准确率为76.12%(仅下降0.03%)。总之,我们成功地减小了模型的规模和计算资源的使用,同时保持了准确性。我们的代码可在https://anonymous.4open.science/r/IJCAI-8104获取。