LLM2D
联邦学习实践:回顾与展望
Federated Learning in Practice: Reflections and Projections
作者: Katharine Daly, Hubert Eichner, Peter Kairouz, H. Brendan McMahan, Daniel Ramage, Zheng Xu
发布日期: 10/14/2024
arXiv ID: oai:arXiv.org:2410.08892v1

摘要

联邦学习(FL)是一种机器学习技术,它允许多个实体协作学习一个共享模型,而无需交换本地数据。在过去十年中,FL 系统取得了重大进展,扩展到跨各种学习领域的数百万台设备,同时提供了有意义的差分隐私 (DP) 保证。来自 Google、Apple 和 Meta 等组织的生产系统证明了 FL 的现实世界适用性。然而,一些关键挑战依然存在,包括验证服务器端的 DP 保证以及协调跨异构设备的训练,限制了更广泛的采用。此外,大型(多模态)模型和训练、推理和个性化之间界限模糊等新兴趋势挑战了传统的 FL 框架。作为回应,我们提出了一个重新定义的 FL 框架,该框架优先考虑隐私原则而不是严格的定义。我们还通过利用可信执行环境和开源生态系统来解决这些挑战,并促进 FL 未来发展,指明了前进方向。