LLM2D
基于样本权重的公平类增量学习
Fair Class-Incremental Learning using Sample Weighting
作者: Jaeyoung Park, Minsu Kim, Steven Euijong Whang
发布日期: 10/3/2024
arXiv ID: oai:arXiv.org:2410.01324v1

摘要

模型公平性在可信赖人工智能的类增量学习中变得越来越重要。虽然准确性一直是类增量学习的中心关注点,但公平性却相对研究不足。然而,在训练中简单地使用当前任务的所有样本会导致某些敏感群体(包括类别)的公平灾难性遗忘。我们从理论上分析了,如果当前任务数据的平均梯度向量与敏感群体的平均梯度向量处于“相反方向”,即它们的内积为负,就会发生遗忘。然后,我们提出了一种公平的类增量学习框架,该框架调整当前任务样本的训练权重,以改变平均梯度向量的方向,从而减少表现不佳群体的遗忘并实现公平性。针对各种群体公平性指标,我们制定了优化问题,以最大程度地减少敏感群体的总体损失,同时最大程度地减少它们之间的差异。我们还表明,这些问题可以用线性规划解决,并提出了一种有效的公平感知样本加权(FSW)算法。实验表明,FSW 在真实数据集上比最先进的方法获得了更好的准确性-公平性权衡结果。