LLM2D
当基础模型遇到联邦学习:动机、挑战与未来方向
When Foundation Model Meets Federated Learning: Motivations, Challenges, and Future Directions
作者: Weiming Zhuang, Chen Chen, Jingtao Li, Chaochao Chen, Yaochu Jin, Lingjuan Lyu
发布日期: 5/6/2025
arXiv ID: oai:arXiv.org:2306.15546v3

摘要

arXiv:2306.15546v3 宣告类型: replace-cross 摘要:基础模型(Foundation Model, FM)与联邦学习(Federated Learning, FL)的交集为现实世界应用开辟了新的可能性。一方面,作为协作学习范式的FL,通过扩大数据可用性、促进计算资源共享、支持FMs的协作开发、解决连续数据更新、避免FM垄断、响应延迟以及FM服务中断等问题,有助于克服FM开发中的挑战。另一方面,配备了预训练知识和出色性能的FM可以作为稳健的起点用于FL,也可以生成合成数据以丰富数据多样性并增强FL的整体性能。同时,FM为FL开启了新的共享范式和多任务及多模态能力。通过探讨FL与FM的互动,本文阐述了增强FL和FM各自能力的动机、挑战和未来方向。希望通过这项工作为未来的研究提供一个良好的基础,以推动两个领域的进步。