LLM2D
Home
Arxiv
返回列表
理解模型校准——校准的温和介绍和预期校准误差(ECE)的可视化探索
Understanding Model Calibration -- A gentle introduction and visual exploration of calibration and the expected calibration error (ECE)
作者:
Maja Pavlovic
发布日期:
2/3/2025
arXiv ID:
oai:arXiv.org:2501.19047v1
摘要
arXiv:2501.19047v1 类型:交叉 摘要:为了被认为是可靠的,一个模型必须校准,使其在每个决策中的置信度密切反映其真实结果。在本文中,我们将探讨最常用的那种校准定义,然后深入讨论一种常用模型校准评估度量。随后,我们将涵盖这种度量的一些缺点,这些缺点表明了需要额外的校准概念的必要性,这些概念需要其自己的新评估度量。本文无意对所有校准作品进行深入剖析,也不专注于如何校准模型。相反,本文旨在提供不同概念及其评估度量的温和介绍,同时重申一个仍广泛用于评估校准的度量措施中的一些问题。
查看原文
下载 PDF