arXiv:2502.03884v1 Announce Type: cross 摘要：大规模语言模型（LLMs）在各种任务中展示了非凡的成功，伴随着其参数量的持续增加。参数高效微调（PEFT）方法，如低秩适应（LoRA），通过显著减少可训练参数的数量来解决微调LLMs的挑战。近期的研究已经将LoRA与专家混合（MoE）架构结合，利用多个适配专家和门控机制进一步提高微调性能。然而，现有的方法主要集中在调整每一层适配专家的分配，以优化引入的可训练参数数量，而忽视了适配器秩这一关键因素。为此，我们提出了一种专家分配和秩配置的分层方案HILO，该方案在层间动态调整适配专家的数量和秩，以匹配模型层在适配器级别上的不同表示复杂性。在多个基准任务上的广泛实验表明，HILO在引入更少的可训练参数的情况下，在准确性上优于现有方法，提供了一种高效且实用的大规模语言模型微调解决方案。