混合专家模型 (MoE) 在大型语言模型 (LLM) 中表现出色，并在众多自然语言处理任务中展现出优异的性能。然而，现有的将 LLM 从密集模型转换为 MoE 模型的方法面临着巨大的数据需求，并且通常依赖于大规模的后期训练。本文提出了一种名为“升级指令微调”（UpIT）的数据高效方法，用于将预训练的密集模型微调为 MoE 指令模型。具体来说，我们首先指出密集模型指令微调过程中的中间检查点自然适合作为专业专家，然后提出了一种专家扩展阶段，以灵活地实现具有灵活专家数量的模型，其中引入了遗传算法和参数合并来确保新扩展专家的充分多样性。为了确保 MoE 模型中的每个专业专家都能按预期工作，我们选择少量每个专家擅长的种子数据来预优化路由器。对各种数据规模和升级设置的广泛实验表明了 UpIT 的优异性能和数据效率，以及专家或数据扩展的稳定改进。进一步分析揭示了在升级过程中确保专家多样性的重要性。