arXiv:2404.10445v4 Announce Type: replace-cross 摘要：扩散模型是广泛用于图像和视频生成的强大生成模型家族。然而，部署耗时、推断时间长以及对大量内存的要求限制了它们在资源受限设备上的应用。在本文中，我们提出了一种基于改进的Straight-Through Estimator的方法，以提高扩散模型的部署效率。具体来说，我们在预训练的扩散模型中的卷积层和线性层中添加稀疏掩码，然后在微调阶段转移学习稀疏模型，并在推断期间启用稀疏掩码。基于Transformer和UNet的扩散模型的实验结果表明，我们的方法在保持FID的同时减少了50%的MACs。在GPU上，稀疏模型加速约1.2倍。在其他MACs条件下，与其他方法相比，FID也低于1。