arXiv:2412.10658v3 宣告类型: replace-cross 摘要：分类模型的置信度校准是一种估计预测类的真实后验概率的技术，这对于在实际应用中确保可靠决策至关重要。现有的置信度校准方法主要使用统计技术从数据中估计校准曲线或拟合用户定义的校准函数，但往往未能充分利用校准曲线背后的先验分布。然而，一个充分知情的先验分布可以在数据有限或置信分数低密度区域提供超出经验数据的有价值见解。为了解决这一问题，本文提出了一种新方法，将校准曲线背后的先验分布与经验数据结合以估计连续的校准曲线。这种方法通过将校准数据的采样过程建模为二项过程，并最大化二项过程的似然函数来实现。我们证明了校准曲线估计方法是对数据分布的Lipschitz连续，并且需要的样本量仅为直方图分箱所需的样本量的1/3，其中B表示箱子的数量。此外，我们设计了一种新的校准指标（$TCE_{bpm}$），该指标利用估计的校准曲线来估计真正的校准误差（TCE）。研究表明，$TCE_{bpm}$是一个一致的校准衡量标准。此外，可以通过二项过程建模从预设的真实校准曲线和置信分数分布生成现实校准数据集，这些数据集可以作为基准，用于衡量和比较现有校准指标与真实校准误差之间的差异。我们的校准方法和指标在真实数据和模拟数据中得到了验证。