arXiv:2411.07826v2 宣告类型: replace-cross 摘要：近年来，通过Transformer结构的大语言模型（LLMs）在许多机器学习任务中占据了主导地位，尤其是在文本处理领域。然而，这些模型在训练时需要大量的数据，并且在浮点运算（FLOPs）和内存需求方面引入了较高的资源需求。为了以参数高效的方式微调这些模型，已经开发了如Adapter或LoRA之类的技巧。然而，我们注意到，当LoRA应用于联邦学习（FL）时，虽然仍然是参数高效的，但在内存和FLOP方面却是低效的。基于这一观察，我们开发了一种新的层微调方案，该方案允许在跨设备FL中利用预训练神经网络（NNs），同时遵守给定的资源约束。我们展示了我们的方案在处理同质或异质计算和内存约束时优于当前最先进的技术，在有限的通信情况下与LoRA相当，从而在FL训练中实现了显著更高的准确性。