arXiv:2505.02795v1 宣布类型: 综合 摘要：近年来，大规模语言模型（LLMs）取得了显著突破，革新了自然语言处理领域以及更广泛的领域。由于参数规模庞大，使用私有数据对这些模型进行微调以适应多种下游任务已成为主流。虽然联邦学习（FL）为在不共享原始数据的情况下微调LLMs提供了一种有前景的解决方案，但重大的计算成本阻碍了其普及。此外，在现实世界中，私有客户端设备往往拥有不同的计算资源，这进一步复杂了LLM微调的问题。为应对这些挑战，我们提出了一种基于拆分学习（SL）和低秩适应（LoRA）微调的异构参数高效微调（PEFT）框架——HSplitLoRA，用于在异构客户端设备上高效微调LLMs。HSplitLoRA 首先根据权重对LLM训练的贡献识别出重要权重。然后，它会根据所选权重的不同计算预算动态配置LoRA适配器的分解秩，并根据客户端设备不同的计算预算确定模型分割点。最后，设计了一种无噪声的适配器聚合机制，支持异构适配器聚合而不引入噪声。广泛的实验证明，HSplitLoRA 在训练准确性和收敛速度方面超越了现有基准。