arXiv:2504.15325v1 类别: cross 摘要: 一致性测量，如科恩κ系数或内类别相关系数，用于衡量两个或多个分类器之间的匹配度。它们在从医学到人工智能等多个领域中被广泛应用，从医学中评估治疗方法和临床试验的有效性，到人工智能中量化分类器减少后的近似度。不同分类器对金色标准的一致性可以通过使用它们与金色标准本身的协议测量所诱导的顺序进行简单比较。然而，仅通过使用协议测量值来将一种方法简单地标记为好或坏需要一个标度或显著性指数。文献中为科恩κ系数提出了一些质量标度，但它们主要较为粗陋，其边界也是任意设定的。本文提出了一种通用的方法来评估任意两个分类器之间一致性值的显著性，并引入了两个显著性指数：一个适用于有限数据集，另一个用于处理分类概率分布。此外，本文还考虑了评估这些指数的计算问题，并确定了一些高效的算法来评估它们。