摘要
arXiv:2502.06655v1 宣告类型: 新
摘要: 指标污染已成为LLM评估社区中一个重要的关注点。先前的代理作为评估者通过将代理纳入问题生成过程来解决这一问题。尽管它们取得了成功,但代理作为评估者方法中的偏差仍很大程度上未被探索。在本文中,我们提出了一种评估偏差的理论框架,为设计无偏评估协议提供了宝贵的见解。此外,我们通过精心设计的探针任务,在最小化代理作为评估者的设置中,确定了代理作为评估者中的两种偏差类型。为解决这些问题,我们提出了无偏评估者这一评估协议,该协议为LLM提供了一个更全面、无偏和可解释的评估。大量的实验表明,当前的LLM仍有显著改进的空间。此外,我们证明无偏评估者不仅提供了基准污染的有力证据,还提供了可解释的评估结果。