arXiv:2502.12581v2 宣称类型: cross 摘要: 可靠地标注数据通常需要多名人类工作者的注释。然而，人类远非完美。因此，通常的做法是汇总多名标注者收集的标签，以获得对真实标签的更自信的估计。在众多的聚合方法中，简单的广为人知的多数投票（MV）方法选择得票数最多的类别标签。尽管其重要性不言而喻，但MV标签聚合的最佳性尚未得到充分研究。我们在工作中通过分析MV在何种条件下能够达到标签估计误差的理论最优下界来填补这一空白。我们的结果捕捉了在给定类别分布的情况下，MV能够最优恢复标签所能容忍的注释噪声限度。这种最优性证书为标签聚合的模型选择提供了更加原则性的方法，而不再依赖于包含更高专家、黄金标签等方法，这些方法虽然代价高昂但在时间和金钱上同样受到人类不确定性的影响。在合成数据和真实数据上的实验结果与我们的理论发现一致。