LLM2D
课程增强型组别DRO:挑战子群偏移设置中避免课程学习的常态
Curriculum-enhanced GroupDRO: Challenging the Norm of Avoiding Curriculum Learning in Subpopulation Shift Setups
作者: Antonio Barbalau
发布日期: 11/26/2024
arXiv ID: oai:arXiv.org:2411.15272v1

摘要

在子群体偏移场景中,课程学习(CL)方法只会过早地将模型权重印刻上易于学习的虚假关联特征。据我们所知,目前最先进的子群体偏移方法都没有采用任何课程学习方法。为了克服这个问题,我们设计了一种CL方法,旨在在假设空间中从无偏的角度初始化模型权重,从而破坏在基于所有可用数据的最终优化过程中向有偏假设轻松收敛的过程。我们在此提出一种课程增强型群体分布鲁棒优化 (CeGDRO) 方法,该方法优先考虑最难的偏见确认样本和最容易的偏见冲突样本,利用 GroupDRO 来平衡初始难度差异。我们在最流行的子群体偏移数据集上对我们提出的方法进行了基准测试,结果表明,在所有场景下都优于最先进的结果,在 Waterbirds 数据集上提高了高达 6.2%。