arXiv:2502.11863v1 宣布类型: cross 摘要：大规模语言模型（LLMs）在自然语言理解和自动化内容创作领域取得了重要的进步。然而，它们仍然面临持久的问题，包括大量的计算成本和训练数据不足。通过联邦学习（FL）与LLMs的结合（联邦LLMs），可以在利用分布式数据的同时保护隐私，这使其成为敏感领域理想的解决方案。然而，联邦LLMs仍面临着稳健性挑战，包括数据异质性、恶意客户端和 adversarial 攻击，这些极大地阻碍了它们的应用。我们首先介绍了联邦LLMs中的稳健性问题，为了解决这些挑战，我们提出了FedEAT（联邦嵌入空间对抗训练）框架，在客户端LLMs的嵌入空间中应用对抗训练，并采用一种稳健的聚合方法，特别是几何中位数聚合，以增强联邦LLMs的稳健性。我们的实验表明，FedEAT能够以最小的性能损失有效地提高联邦LLMs的稳健性。