LLM2D
面向AI自适应反馈的探索:比较LLM和教师在实验规程中的反馈质量
Towards Adaptive Feedback with AI: Comparing the Feedback Quality of LLMs and Teachers on Experimentation Protocols
作者: Kathrin Se{\ss}ler, Arne Bewersdorff, Claudia Nerdel, Enkelejda Kasneci
发布日期: 2/19/2025
arXiv ID: oai:arXiv.org:2502.12842v1

摘要

arXiv:2502.12842v1 宣告类型: 新 摘要: 有效的反馈对于培养学生的科学探究成功至关重要。随着人工智能的进步,大型语言模型(LLMs)为即时和自适应反馈提供了新的可能性。然而,这种反馈往往缺少由实际从业者提供的教学验证。为解决这一限制,我们的研究评估和比较了LLM代理与教师和科学教育专家对学生撰写的实验协议所给反馈的质量。四位蒙着眼睛的评审员,均为科学探究和科学教育的专业人士,根据有效反馈的六个标准(Feed Up、Feed Back、Feed Forward、建设性语气、语言清晰度和技术术语)使用五点李克特量表对LLM生成的反馈文本、教师和科学教育专家的反馈进行了评估。我们的结果显示,LLM生成的反馈在整体质量上与教师和专家没有显著差异。然而,LLM代理在Feed Back维度上的表现落后,该维度涉及在学生工作背景下识别和解释错误。定性分析突出了LLM代理在情境理解方面的局限性以及在具体错误的清晰传达方面的不足。我们的研究结果表明,将LLM生成的反馈与人类专长相结合,可以利用LLM的效率和教育者的细微理解来增强教育实践。