arXiv:2505.06272v1 标题类型: cross 摘要: 随着深度学习模型的扩展，预训练-微调范式已成为处理各种下游任务的标准方法。然而，在处理涉及多个任务的复杂数据集时，共享参数会导致性能下降。虽然引入混合专家（MoE）方法在一定程度上缓解了这一问题，但也显著增加了微调和训练所需的参数数量，引入了更大的参数冗余度。为了应对这些挑战，我们提出了一种基于参数灵敏度分配专家数量的方法——LoRA-SMoE（一种在LoRA-MoE中的灵敏度驱动专家分配方法，用于高效微调）。该方法通过采样少量数据并使用梯度信息快速评估不同任务对参数的灵敏度，然后在给定的预算内自适应分配专家数量。该过程保持了与LoRA（低秩适应）相当的内存消耗，同时确保高效的、资源友好的微调流程。实验结果表明，与当前最先进的微调方法相比，我们的LoRA-SMoE方法可以在减少可训练参数数量的同时提高模型性能。这在资源受限的环境中显著提高了模型性能。此外，由于其高效的参数灵敏度评估机制，LoRA-SMoE在优化专家分配方面的计算开销非常小，特别适用于计算资源有限的场景。本研究的所有代码将在论文被接受出版后公开。源代码位于https://github.com/EMLS-ICTCAS/LoRA-SMoE