LLM2D
PeerArg:基于大型语言模型的论证式同行评审
PeerArg: Argumentative Peer Review with LLMs
作者: Purin Sukpanichnant, Anna Rapberger, Francesca Toni
发布日期: 9/26/2024
arXiv ID: oai:arXiv.org:2409.16813v1

摘要

同行评审是确定提交给科学会议或期刊的论文质量的必要过程。然而,它具有主观性和易受偏差的影响。一些研究已经应用自然语言处理技术来支持同行评审,但它们基于黑盒技术,其输出难以解释和信任。本文提出了一种新颖的管道来支持和理解同行评审的评审和决策过程:PeerArg 系统,它结合了大型语言模型和知识表示方法。PeerArg 接收论文的评论集作为输入,并输出论文接受预测。我们评估了 PeerArg 管道在三个不同数据集上的性能,并将其与使用少量学习来预测给定评论的论文接受的新型端到端大型语言模型进行了比较。结果表明,端到端大型语言模型能够根据评论预测论文接受,但 PeerArg 管道的变体优于此大型语言模型。