arXiv:2504.02011v1 公布类型: cross 摘要: 扩散模型通过渐进去噪生成高质量图像，但由于模型规模庞大和反复采样，计算成本高昂。知识蒸馏，即将复杂教师模型的知识转移到简单的学生模型上，已在识别任务中广泛研究，特别是在向学生模型转移训练期间未见的概念方面。然而，将其应用于扩散模型的研究仍处于起步阶段，尤其是在使学生模型能够生成训练图像中未涵盖的概念方面。在本文中，我们提出了一种新颖的方法——随机条件方法，该方法将噪图像与随机选择的文本条件配对，以实现高效、无图像的知识蒸馏。通过利用这种方法，我们展示了学生模型可以生成在训练图像中未见的概念。当应用于条件扩散模型蒸馏时，我们的方法允许学生模型探索条件空间，无需生成特定条件的图像，从而在生成质量和效率方面取得了显著提升。这促进了生成扩散模型的资源高效部署，使其在研究和实际应用中更加易于获取。关于代码、模型和数据集的更多信息，请访问 https://dohyun-as.github.io/Random-Conditioning 。