摘要
arXiv:2312.10181v2 Announce Type: replace-cross
摘要:深度神经网络在各种应用中取得了卓越的结果。随着对高效和稀疏深度学习模型的需求不断增长,人们越来越认识到模型压缩,尤其是剪枝的重要性。然而,传统的剪枝方法可能会无意间加剧算法偏差,导致关键应用中的不平等预测结果,从而引发剪枝实践和社会公正之间的困境。为了解决这一挑战,我们引入了一个新的公平模型剪枝的概念,即开发一个符合公平标准的稀疏模型。特别是,我们提出了一种框架,该框架旨在同时优化剪枝掩码和权重更新过程中的公平约束。该框架旨在通过统一的过程压缩保持性能并在确保公平性。为此,我们将公平剪枝问题阐述为一种新的受约束的多层优化任务,并推导出高效且有效的求解策略。我们设计了多种数据集和场景的实验来验证我们所提出的方法。我们的实证分析将我们的框架与几种主流的剪枝策略进行了对比,强调了我们方法在保持模型公平性、性能和效率方面的优越性。