arXiv:2504.10536v1 宣传类型: 交叉 摘要： federated learning (联邦学习) 在不共享原始数据的情况下跨组织进行协作模型训练，解决了医疗自然语言处理 (NLP) 中至关重要的隐私问题。然而，在联邦环境中训练大规模语言模型 (LLMs) 面临重大挑战，包括通信开销和数据异质性。我们提出了一种分层跳过联邦学习，在此方法中，只需在客户端上微调预训练的 LLM 的选定层，而其他层则保持冻结。应用于 LaMA 3.2-1B 中，我们的方法将通信成本降低约 70% 同时保持性能与集中训练相差不到 2%。我们在使用 i2b2 和 MIMIC-III 数据集对临床实体识别和分类任务进行评估。我们的实验表明，分层跳过联邦学习优于竞争基线，在处理非IID临床数据分布方面表现出色，并且在与差分隐私结合使用时表现出稳健性。这种方法代表了在医疗 NLP 中实现隐私保护协作学习的实用解决方案。