摘要
arXiv:2504.18691v1 类别: cross
摘要:背景与研究环境。随着大规模语言模型(LLMs)在计算机教育中的整合,理解学生如何使用LLMs并构建提示以解决计算任务变得越来越具有挑战性。此前的研究采用了定性和定量的方法来分析提示行为,但这些方法缺乏可扩展性或无法有效捕捉提示的语义演化。目标。在本文中,我们研究是否可以系统地使用命题逻辑约束来分析学生提示。我们分析这种方法能否识别提示演化中的模式,检测表现不佳的学生,并提供有效和无效策略的见解。方法。我们引入了Prompt2Constraints,这是一种新颖的方法,将学生的提示转化为逻辑约束。这些约束能够以简洁且可量化的方式来表示提示的意图。我们使用这种方法分析了203名学生解决入门级编程任务时产生的1,872个提示的数据集。发现。我们发现,尽管成功和不成功的尝试总体上使用了相似数量的约束,但在学生失败时,他们往往会更显著地修改提示,中途改变解决问题的策略。我们还确定了可以对学生最有帮助的具体干预点,用于细化他们的提示。意义。这项工作提供了一种新的和可扩展的方式来检测在解决自然语言编程任务中遇到困难的学生。这项工作可以扩展以研究更复杂的任务,并融入编程工具以提供实时支持。