LLM2D
通过实例级难度建模和动态优化处理标签噪声
Handling Label Noise via Instance-Level Difficulty Modeling and Dynamic Optimization
作者: Kuan Zhang, Chengliang Chai, Jingzhe Xu, Chi Zhang, Ye Yuan, Guoren Wang, Lei Cao
发布日期: 5/5/2025
arXiv ID: oai:arXiv.org:2505.00812v1

摘要

arXiv:2505.00812v1 宣告类型: cross 摘要: 近期的研究表明,在噪声监督下,深度神经网络的一般化性能会下降。现有的方法主要集中在隔离干净子集或纠正噪声标签,但面临着高计算成本、复杂的超参数调整过程和粗粒度优化的局限性。为了应对这些挑战,我们提出了一种新型的两阶段噪声学习框架,通过动态加权损失函数实现实例级别的优化,避免了超参数调整。为了获得稳定且准确的噪声建模信息,我们引入了一个简单而有效的度量标准,称为“错误事件”,它能够动态地表征个体样本的清洁度和难度,同时保持计算成本。我们的框架首先收集错误事件信息并建立一个强基础模型。然后我们在基础模型上进行噪声鲁棒训练,使用概率模型处理样本的错误事件信息。在五个合成和真实世界的LNL基准测试上进行的实验表明,我们的方法在性能上超越了最先进的方法,实现了近75%的计算时间减少,并提高了模型的可扩展性。