LLM2D
FedEFC: 使用增强前向纠正对抗噪声标签的联邦学习
FedEFC: Federated Learning Using Enhanced Forward Correction Against Noisy Labels
作者: Seunghun Yu, Jin-Hyun Ahn, Joonhyuk Kang
发布日期: 4/9/2025
arXiv ID: oai:arXiv.org:2504.05615v1

摘要

arXiv:2504.05615v1 宣告类型: cross 摘要: 去中心化学习(Federated Learning,FL)是一种具有强大功能的隐私保护分布式学习框架。它允许多个客户端协作训练一个全局模型,而无需分享原始数据。然而,由于数据分布异质性和通信约束,处理FL中的嘈杂标签仍然是一个主要挑战,这可能导致模型性能严重下降。为了应对这一问题,我们提出了FedEFC,这是一种新的方法,专门设计用于解决FL中嘈杂标签的影响。FedEFC通过两种关键技术来缓解这一问题:(1) 预停止,通过动态在最优点停止训练来防止模型过度拟合标签错误的数据;(2) 损失矫正,调整模型更新以考虑标签噪声。特别是,我们针对FL的独特挑战(包括数据异质性和分布式训练)开发了一种有效的损失矫正方法。此外,我们利用复合适当损失的性质,从理论上分析了在嘈杂标签分布下,FL的目标函数可以与干净标签分布对齐。广泛的经验研究验证了该方法的有效性,显示它在减轻嘈杂标签影响方面优于现有方法,尤其是在异质数据设置下(例如,相对于现有损失矫正方法,性能提升高达41.64%)。