摘要
arXiv:2504.05349v1 类型: cross
摘要:网络剪枝被用于降低大型神经网络的推理延迟和能耗。然而,大多数现有方法由于其固有的相关性,难以准确评估单个权重的重要性,导致在极端稀疏水平下表现较差。我们介绍了Hyperflows,一种动态剪枝方法,通过观察移除权重时网络的梯度响应来估计每个权重的重要性。一个全局压力项持续驱动所有权重朝向剪枝,那些对准确率至关重要的权重将根据它们的流(在它们不存在时聚合的梯度信号)自动再生。我们探讨了最终稀疏度与压力之间的关系,推导出与神经网络缩放定律中发现的类似幂律方程。实验上,我们在CIFAR-10和CIFAR-100上使用ResNet-50和VGG-19展示了最先进的结果。