arXiv:2504.11793v3 更新类型: 替换-交叉 摘要：联邦学习（FL）在训练大规模语言模型（LLMs），特别是在医疗保健应用中，面临着通信开销和模型隐私的重大挑战。为了解决这些问题，我们提出了选择性注意力联邦学习（SAFL），这是一种新颖的方法，能够动态微调仅那些被识别为关注关键的变压器层。通过使用注意力模式来确定层的重要性，SAFL 显著减少了通信带宽并增强了差分隐私的抵抗力。在临床自然语言处理基准测试（i2b2 临床概念提取和 MIMIC-III 离院摘要）上的评估表明，SAFL 在性能上与集中式模型相当，同时显著提高了通信效率和隐私保护。