arXiv:2502.04387v1 宣传类型: cross 摘要: 联邦学习（FL）使在多样化的分散式多语言数据上，特别是低资源语言上训练多语言大型语言模型（LLMs）成为可能。为了提高客户端特定的性能，通过参数高效微调（PEFT）模块（如LoRA）进行个性化是非常常见的。这涉及一种个性化策略（PS），例如PEFT适配器结构的设计（例如，在哪些层添加LoRA以及什么秩）和微调的超参数选择（例如，学习率）。不同于现有的大部分PEFT结构选择方法，它们在低数据情况下容易过拟合，FedP$^2$EFT提出了一种在跨设备FL设置中针对多语言LLMs的联邦学习到个性化方法。不同于大多数现有的PEFT结构选择方法，FedP$^2$EFT通过贝叶斯稀疏秩选择协作学习为每个客户端的最佳个性化PEFT结构。来自模拟和现实生活中的多语言FL基准的评估表明，FedP$^2$EFT在现有个性化微调方法中表现出显著的优势，同时补充了一系列现有的FL方法。