LLM2D
分布偏移下的选择性分类
Selective Classification Under Distribution Shifts
作者: Hengyue Liang, Le Peng, Ju Sun
发布日期: 11/28/2024
arXiv ID: oai:arXiv.org:2405.05160v2

摘要

在选择性分类 (SC) 中,分类器会避免做出可能出错的预测,以避免出现过多错误。为了在高风险场景中部署不完美的分类器——无论是由于数据的内在统计噪声、分类器的鲁棒性问题,还是其他原因——选择性分类似乎是一条有吸引力且必要的途径。尽管在选择性分类领域已经进行了数十年的研究,但大多数以前的选择性分类方法仍然只关注理想的统计设置,即部署时的数据分布与训练时的数据分布相同,尽管实际数据可能来自各种来源。为了弥合这一差距,本文提出了一种考虑分布偏移的选择性分类框架,称为广义选择性分类,它除了典型的分布内样本外,还涵盖了标签偏移(或分布外)和协变量偏移样本,这是选择性分类文献中的首次尝试。我们关注基于深度学习 (DL) 分类器的广义选择性分类的非训练型置信度评分函数,并提出了两种新的基于边际的评分函数。通过大量的分析和实验,我们证明了我们提出的评分函数比现有的评分函数更有效、更可靠,适用于各种分类任务和深度学习分类器。代码可在 https://github.com/sun-umn/sc_with_distshift 获取。