LLM2D
超越独热标签:语义混合以实现模型校准
Beyond One-Hot Labels: Semantic Mixing for Model Calibration
作者: Haoyang Luo, Linwei Tao, Minjing Dong, Chang Xu
发布日期: 4/21/2025
arXiv ID: oai:arXiv.org:2504.13548v1

摘要

arXiv:2504.13548v1 校准类型:交叉 摘要:模型校准旨在确保模型生成的置信分数准确反映其预测正确的真正可能性。然而,现有的校准方法从根本上依赖于一热标签数据集,隐式假设所有注释的全部确定性。这类数据集对于分类有效,但不足以提供足够的不确定性知识以进行模型校准,因此需要编纂具有丰富数值真实置信值的数据集。然而,由于稀缺的不确定视觉示例,此类样本不易作为真实数据集获取。在本文中,我们引入了校准意识数据增强以创建多样样本及其真实不确定性的真实数据集。具体而言,我们提出了校准意识语义混合(CSM)这一新颖框架,该框架生成具有混合类特征的训练样本,并通过扩散模型为其注释不同的置信分数。基于此框架,我们提出了校准校注以解决扩散逆转过程中标注置信分数与混合比例之间的不一致问题。此外,我们探讨了更适合新数据表示范式的损失函数。实验结果显示,CSM 在校准性能上优于现有的先进校准方法。代码可在 github.com/E-Galois/CSM 获取。