LLM2D
改进基于逐层聚合和余弦距离的$(\alpha, f)$-拜占庭容错性在联邦学习中的性能
Improving $(\alpha, f)$-Byzantine Resilience in Federated Learning via layerwise aggregation and cosine distance
作者: Mario Garc\'ia-M\'arquez, Nuria Rodr\'iguez-Barroso, M. Victoria Luz\'on, Francisco Herrera
发布日期: 3/28/2025
arXiv ID: oai:arXiv.org:2503.21244v1

摘要

arXiv:2503.21244v1 交叉公告类型 摘要:人工智能系统的发展加剧了社会对其使用的担忧,这要求制定涵盖数据隐私的监管框架。联邦学习(FL)通过实现不共享数据的协作模型训练,被提出为解决分布式机器学习中数据隐私挑战的潜在解决方案。然而,FL系统在拜占庭攻击面前仍然脆弱,恶意节点会提供篡改的模型更新。尽管拜占庭鲁棒操作已成为广泛采用的稳健聚合算法,以减轻这些攻击,但在高维度参数空间中的效果显著减弱,有时会导致性能不佳的模型。本文介绍了一种新的聚合方案——逐层余弦聚合,旨在在高维设置中增强这些规则的鲁棒性,同时保持计算效率。提供了一种理论分析,展示了所提出的逐层余弦聚合相较于原始鲁棒聚合操作符的优越鲁棒性。在不同数据分布和拜占庭攻击场景下,使用多种图像分类数据集的实验评估一致地展示了逐层余弦聚合的改进性能,实现了高达16%的模型准确度提升。