摘要
在选择性分类 (SC) 中,分类器会避免做出可能出错的预测,以避免出现过多错误。为了在高风险场景中部署不完美的分类器——无论是由于数据的内在统计噪声、分类器的鲁棒性问题,还是其他原因——选择性分类似乎是一条有吸引力且必要的途径。尽管在选择性分类领域已经进行了数十年的研究,但大多数以前的选择性分类方法仍然只关注理想的统计设置,即部署时的数据分布与训练时的数据分布相同,尽管实际数据可能来自各种来源。为了弥合这一差距,本文提出了一种考虑分布偏移的选择性分类框架,称为广义选择性分类,它除了典型的分布内样本外,还涵盖了标签偏移(或分布外)和协变量偏移样本,这是选择性分类文献中的首次尝试。我们关注基于深度学习 (DL) 分类器的广义选择性分类的非训练型置信度评分函数,并提出了两种新的基于边际的评分函数。通过大量的分析和实验,我们证明了我们提出的评分函数比现有的评分函数更有效、更可靠,适用于各种分类任务和深度学习分类器。代码可在 https://github.com/sun-umn/sc_with_distshift 获取。