摘要
arXiv:2504.21099v1 宣传类型:交叉
摘要:基础模型通过在大规模数据集上进行预训练,提供了稳健且多功能的架构,从而彻底改变了人工智能。然而,将这些大规模模型适应到特定的下游任务需要微调,这在计算资源上可能是极其昂贵的。参数高效微调(PEFT)方法通过选择性地更新一小部分参数来应对这一挑战。与此同时,联邦学习(FL)能够在不共享原始数据的情况下跨分布式客户端协作训练模型,使其成为隐私敏感应用的理想选择。本文综述了PEFT技术在联邦学习环境中的整合。我们系统地将现有方法分类为三类:增益PEFT(引入新的可训练参数),选择性PEFT(仅微调现有参数的子集),和重构PEFT(通过转换模型架构实现高效更新)。对于每一类,我们分析了这些方法如何解决联邦设置中的独特挑战,包括数据异构性、通信效率、计算约束以及隐私问题。我们根据应用领域进一步组织文献,涵盖了自然语言处理和计算机视觉任务。最后,我们讨论了有 promise 的研究方向,包括基础模型的扩展、联邦PEFT方法的理论分析以及资源受限环境中的可持续方法。