摘要
人们普遍认为,动态稀疏训练为人工神经网络开辟了一个可扩展性和效率的新时代,但可能在分类任务的准确性方面会付出一些代价。与此同时,密集训练被广泛接受为训练人工神经网络的“事实上的”方法,如果人们希望最大限度地提高其对图像损坏的鲁棒性。在本文中,我们对这种普遍做法提出了质疑。因此,我们声称,与普遍看法相反,动态稀疏训练方法在鲁棒性精度方面始终优于密集训练,尤其是在效率方面不被视为主要目标的情况下(即稀疏度水平在 10% 到 50% 之间),而不会增加(甚至减少)资源成本。我们使用用于计算机视觉的几种传统和现代深度学习架构以及三种广为研究的动态稀疏训练算法,在两种类型的数据(图像和视频)上验证了我们的主张。我们的发现揭示了动态稀疏训练的一个新的、未知的好处,并为超越当前技术水平的深度学习鲁棒性改进开辟了新的可能性。