LLM2D
谁是最公平的(多公平性的)那一个:通过多校准的视角重新思考基于插值的数据增强
Who's the (Multi-)Fairest of Them All: Rethinking Interpolation-Based Data Augmentation Through the Lens of Multicalibration
作者: Karina Halevy, Karly Hou, Charumathi Badrinath
发布日期: 4/16/2025
arXiv ID: oai:arXiv.org:2412.10575v2

摘要

arXiv:2412.10575v2 通知类型: 替换-交叉 摘要:数据增强方法,尤其是最先进的插值基方法(如Fair Mixup),已被广泛证明可以增加模型的公平性。然而,这种公平性是在不反映模型不确定性且仅包含一个相对较大的少数群体的数据集上评估的。为了改进这一点,引入了多校准来在允许不确定性的同时衡量多少数群体的情况下的公平性。然而,现有提高多校准的方法是通过减少初始训练数据以创建后续处理用的保留集来实现的,这在少数群体训练数据已经稀少的情况下并不理想。本文使用多校准更严格地检查数据增强对分类公平性的影响。我们对两个包含多达81个边缘化群体的结构化数据分类问题进行了四个版本的Fair Mixup的压力测试,评估了多校准违例和均衡准确率。我们发现,在几乎每一次实验中,Fair Mixup实际上是降低了基线性能和公平性,而简单的原始Mixup在多次实验中均优于Fair Mixup和基线,尤其是在对小群体进行校准的情况下。将原始Mixup与多校准后续处理结合使用,通过在保留集上进行后续处理来强制执行多校准,进一步提高了公平性。