扩散模型在图像生成方面取得了显著进展。然而，与之前的生成模型相比，扩散模型面临着巨大的计算开销，导致无法实时生成。最近的方法旨在通过改进的采样技术或步骤蒸馏来减少采样步骤，从而加速扩散模型。然而，减少每个时间步的计算成本的方法仍然是一个相对未探索的领域。观察到扩散模型在不同的时间步具有不同的输入分布和特征分布，我们引入了“一对多”知识蒸馏 (O2MKD)，它将单个教师扩散模型蒸馏成多个学生扩散模型，其中每个学生扩散模型被训练来学习教师对连续时间步子集的知识。在 CIFAR10、LSUN Church、CelebA-HQ (使用 DDPM) 和 COCO30K (使用 Stable Diffusion) 上的实验表明，O2MKD 可以应用于之前知识蒸馏和快速采样方法，以实现显著的加速。代码将在 Github 上发布。