arXiv:2504.11793v1 交叉声明类型： 摘要：联邦学习（FL）在训练大型语言模型（LLMs），尤其是在医疗保健应用中，面临着通信开销和模型隐私的重大挑战。为了解决这些问题，我们引入了选择性注意力联邦学习（SAFL），这是一种新颖的方法，可以动态微调仅那些被识别为注意力关键的变压器层。通过使用注意力模式来确定层的重要性，SAFL 显著减少了通信带宽并增强了差分隐私的抗性。在临床自然语言处理基准（i2b2临床概念提取和MIMIC-III出院总结）上的评估证明，SAFL 在与中心化模型相当的性能的同时，显著提高了通信效率和隐私保护。