LLM2D
同行评审中的群体公平性
Group Fairness in Peer Review
作者: Haris Aziz, Evi Micha, Nisarg Shah
发布日期: 10/7/2024
arXiv ID: oai:arXiv.org:2410.03474v1

摘要

大型会议,如 NeurIPS 和 AAAI,是各个 AI 领域的交叉点,因为它们吸引了来自众多社区的投稿。然而,在某些情况下,这会导致某些社区的投稿被分配给其社区之外的资质较低的评审员,从而导致糟糕的评审体验。一个经常被提倡的解决方案是将这些大型会议拆分成更小的会议,但这会导致社区之间的隔离,并损害跨学科研究。我们通过引入一个称为“核心”的群体公平概念来解决这一挑战,该概念要求每个可能的社区(研究人员的子集)都得到公平对待,以防止他们通过退出大型会议来单方面获益。 我们研究了一个简单的同行评审模型,证明它总能找到一个“核心”范围内的评审分配,并设计了一种有效的算法来找到这种分配。我们使用来自 CVPR 和 ICLR 会议的真实数据,在多个指标上将我们的算法与现有的评审分配算法进行比较。