arXiv:2402.14029v3 宣告类型: replace-cross 摘要: 随机初始化的密集网络包含一些在不需要权重学习的情况下就能实现高准确率的子网络——强大的赛马票（Strong Lottery Tickets, SLTs）。近日，Gadhikar等人（2023）展示了在随机剪枝的源网络中也可以找到SLTs。这一现象可用于进一步压缩SLTs所需的较小内存大小。然而，他们的方法仅限于比源网络更稀疏的SLTs，导致由于无意的高稀疏性而降低准确率。本文提出了一种方法，用于减少SLTs所需的内存大小，而不限制可以找到的SLTs的稀疏度。通过永久剪枝或将其锁定为SLT的固定部分来冻结初始权重的一部分，从而减小模型大小。实验结果表明，冻结网络中的Edge-Popup（Ramanujan等人，2020；Sreenivasan等人，2022）在找到SLTs时相比密集源网络或随机剪枝源网络具有更好的准确率-模型大小折衷。特别是，在ImageNet上冻结ResNet的70%提供了与在密集对应物中找到的SLT相比3.3倍的压缩比，与在随机剪枝对应物中找到的SLT相比提高了最多14.12的准确率，并且比两者都提供了更好的准确率-模型大小折衷。