arXiv:2412.17387v3 宣告类型: replace-cross 摘要: 虽然剪枝方法可以在不增加额外训练成本的情况下有效维持模型性能，但它们往往仅专注于保留关键连接，忽略了剪枝权重对后续微调或蒸馏的影响，导致效率低下。此外，大多数生成模型的压缩技术主要针对如StyleGAN这类特定架构的GANs开发，而对扩散模型的压缩研究刚刚起步。更具体地说，这些方法往往仅适用于GANs或扩散模型，突显了在两种模型类型之间寻求有效方法的必要性。在本文中，我们提出了奇异值缩放(SVS)，这是一种适用于两种模型类型的通用技巧，用于精炼剪枝权重。我们的分析表明，剪枝权重通常表现出主导奇异向量，这反而阻碍了微调效率，并导致与随机初始化相比，性能较低。我们的方法通过最小化剪枝权重的奇异值差异来改进权重初始化，从而提高微调过程的效果。该方法不仅引导压缩模型朝着更好的解决方案发展，还显著加快了微调过程。在StyleGAN2、StyleGAN3和DDPM上的广泛实验表明，SVS能够在不增加额外训练成本的情况下改进不同模型类型的压缩性能。我们的代码可在以下链接获取：https://github.com/LAIT-CVLab/Singular-Value-Scaling。