arXiv:2403.14715v3 宣告类型: replace-cross 摘要: 标签平滑（LS）是一种流行的小波正则化方法，因为它在提高测试准确率方面效果显著且易于实现。通过均匀地将概率质量分配到其他类，从而减少过度拟合，“硬”的one-hot标签被“平滑”处理。已有研究表明，在某些情况下，LS 可能会降低选择性分类（SC）的效果——即利用模型的不确定性来拒绝错误分类。在本工作中，我们首先通过在广泛的大型任务和架构上进行经验验证，证明LS会一致地降低SC效果。然后填补了现有知识的空白，通过分析logit级梯度，对这种行为进行了解释：LS通过在预测正确时抑制最大logit更多，而在预测错误时抑制较少，从而破坏了正确预测和错误预测的不确定性排序。这解释了之前报告的实验结果，即强分类器在SC中的表现不佳。随后，我们展示了后处理logit归一化的实证有效性，以恢复由于LS导致的丢失的SC性能。此外，我们再次通过我们的梯度分析，提供了这种归一化为何有效的解释。