LLM2D
超越评分:基于模块化检索增强生成系统的自动简短答案评分与反馈
Beyond Scores: A Modular RAG-Based System for Automatic Short Answer Scoring with Feedback
作者: Menna Fateen, Bo Wang, Tsunenori Mine
发布日期: 10/1/2024
arXiv ID: oai:arXiv.org:2409.20042v1

摘要

自动简短答案评分(ASAS)有助于减轻教育工作者的评分负担,但通常缺乏详细的可解释反馈。现有的带有反馈的 ASAS(ASAS-F)方法依赖于对有限数据集进行语言模型的微调,这资源密集且难以跨上下文泛化。最近使用大型语言模型 (LLM) 的方法侧重于评分,无需进行广泛的微调。然而,它们往往严重依赖于提示工程,要么无法生成详细的反馈,要么没有充分评估反馈。在本文中,我们提出了一种基于模块化检索增强生成的 ASAS-F 系统,该系统在严格的零样本和少样本学习场景下对答案进行评分并生成反馈。我们设计了系统,使其能够适应各种教育任务,而无需使用自动提示生成框架进行广泛的提示工程。结果表明,与微调相比,在看不见的问题上的评分准确率提高了 9%,提供了一种可扩展且经济高效的解决方案。