LLM2D
向提示泛化迈进:语法感知的跨提示自动作文评分
Towards Prompt Generalization: Grammar-aware Cross-Prompt Automated Essay Scoring
作者: Heejin Do, Taehee Park, Sangwon Ryu, Gary Geunbae Lee
发布日期: 2/13/2025
arXiv ID: oai:arXiv.org:2502.08450v1

摘要

arXiv:2502.08450v1 交叉提示类型:跨提示 摘要:在自动化作文评分(AES)中,最近的努力转向了使用未见过的提示来评分的跨提示设置,以提高其实用适用性。然而,先前使用特定提示的作文-评分对进行训练的方法,在获取通用提示下的作文表示方面面临挑战。在本文中,我们提出了一种语法感知的跨提示特征评分(GAPS),它内部捕捉独立于提示的语法方面,以学习通用的作文表示。我们通过语法错误校正技术获取作文中的语法纠错信息,并设计AES模型使其无缝集成此类信息。通过内部参考校正和原始作文,该模型可以在训练过程中专注于通用特征。实证实验验证了我们方法的泛化能力,显示了在独立于提示和语法相关的特征上显著的改进。此外,GAPS 在最具有挑战性的跨提示场景中实现了显著的QWK提升,突显了其评估未见过的提示的能力。