arXiv:2504.11793v2 宣传类型: 替换-交叉 摘要：在训练大型语言模型（LLM）时，联邦学习（FL）在通信开销和模型隐私方面面临着重大挑战，尤其是在医疗保健应用程序中。为了解决这些问题，我们提出了选择性注意力联邦学习（SAFL），这是一种新颖的方法，能够动态地仅调整被识别为注意力关键的变压器层。通过使用注意力模式来确定层的重要性，SAFL 显著减少了通信带宽并增强了差分隐私的抗性。在临床自然语言处理基准测试（i2b2 临床概念提取和 MIMIC-III 出院总结）上的评估表明，SAFL 在性能上与集中模型相当，同时大幅提高了通信效率和隐私保护。