arXiv:2406.09831v2 通知类型: 替换-交叉 摘要：联邦学习（FL）提供了一种有前途的范式，用于以去中心化的方式训练大型语言模型（LLMs），同时保护数据隐私并最小化通信开销。本文综述了由FL驱动的LLMs的最新进展，特别是在架构设计、性能优化和安全问题方面的关注，包括正在兴起的机器遗忘领域。在此上下文中，机器遗忘指的是系统地从训练模型中删除特定数据贡献，以遵守如被遗忘权等隐私法规。我们回顾了一系列使联邦LLMs中的遗忘成为可能的策略，包括基于扰动的方法、模型分解和增量重新训练，同时从效率、隐私保证和模型实用性方面评估这些方法的权衡。通过选定的案例研究和实证评估，我们分析了这些方法在实际FL场景中的表现。本文指出了开发安全、适应性强、高性能的联邦LLMs系统以进行实际部署的关键研究方向。