摘要
arXiv:2409.16813v2 评审类型: 更新
摘要: 同行评审是确定提交给科学会议或期刊论文质量的一个关键过程。然而,它带有主观性和偏见性。已经有多项研究致力于应用来自自然语言处理(NLP)的技术来支持同行评审,但这些方法基于黑盒技术,其输出难以解读和信任。在这篇论文中,我们提出了一种新的管道来支持和理解同行评审及其决策过程:PeerArg系统,该系统结合了大语言模型(LLMs)与知识表示方法。PeerArg接收一系列针对某篇论文的评审,并输出该论文的接受预测。我们通过三个不同的数据集评估了PeerArg管道的性能,将其与一种新的端到端的LLM进行比较,该LLM使用少量示例学习来根据评审预测论文的接受情况。结果显示,端到端的LLM能够从评审中预测论文的接受情况,但PeerArg管道的一个变体在这方面的表现优于该LLM。