摘要
arXiv:2306.15546v3 宣告类型: replace-cross
摘要:基础模型(Foundation Model, FM)与联邦学习(Federated Learning, FL)的交集为现实世界应用开辟了新的可能性。一方面,作为协作学习范式的FL,通过扩大数据可用性、促进计算资源共享、支持FMs的协作开发、解决连续数据更新、避免FM垄断、响应延迟以及FM服务中断等问题,有助于克服FM开发中的挑战。另一方面,配备了预训练知识和出色性能的FM可以作为稳健的起点用于FL,也可以生成合成数据以丰富数据多样性并增强FL的整体性能。同时,FM为FL开启了新的共享范式和多任务及多模态能力。通过探讨FL与FM的互动,本文阐述了增强FL和FM各自能力的动机、挑战和未来方向。希望通过这项工作为未来的研究提供一个良好的基础,以推动两个领域的进步。