arXiv:2503.18986v1 宣传类型: 交叉 摘要: 在私有设备本地数据上微调大型语言模型（LLMs）可以增强定制化的个性化AI代理。然而，在资源受限的边缘设备上微调LLMs面临显著挑战，包括计算开销过大、设备异构性和数据不平衡。本文提出了一种分块冻结（SplitFrozen）学习框架，通过策略性地冻结设备端模型层，同时在服务器端集中化参数高效微调，从而实现高效的LLM微调。我们的框架将LLMs划分为设备端冻结层和服务器端微调层，在异构资源受限设备上仅执行前向传播。为了最小化服务器端训练成本，我们将低秩适应（LoRA）集成到服务器端层中。管道并行策略进一步通过解耦设备-服务器计算和利用分拆反向传播来优化训练效率。在GPT-2模型上使用MRPC、MNLI-matched和SST-2数据集的实验表明，SplitFrozen在数据极度不平衡的情况下，相比FedLoRA和SplitLoRA，模型准确率提高了69.4%，同时减少了86.8%的设备端计算量和50.2%的总训练时间。实验还验证了SplitFrozen在使用Llama-3.2模型进行内容生成任务时的可扩展性，使用GSM8K数据集进行验证。