LLM2D
基于LLM的专家和学生代理合成高质量编程任务
Synthesizing High-Quality Programming Tasks with LLM-based Expert and Student Agents
作者: Manh Hung Nguyen, Victor-Alexandru P\u{a}durean, Alkis Gotovos, Sebastian Tschiatschek, Adish Singla
发布日期: 4/11/2025
arXiv ID: oai:arXiv.org:2504.07655v1

摘要

arXiv:2504.07655v1 生成类型:新 摘要:生成式人工智能通过使个性化内容和反馈的自动化生成成为可能,正在改变计算机教育的方式。我们研究了其在为学生提供高质量编程任务方面的能力。尽管在任务生成方面取得了令人鼓舞的进步,但AI生成的任务与目标编程概念之间仍然存在质量差距。AI生成的任务可能与目标编程概念不一致,对学生来说难以解决,或者可能包含关键问题如错误的测试。现有工作往往需要人类教师的干预进行验证。我们通过引入PyTaskSyn,一种新型的合成技术,来解决这些问题,该技术首先生成一个编程任务,然后决定该任务是否符合特定的质量标准并提供给学生。关键思想是将这个过程分解为由强生成模型和较弱生成模型模拟的专家代理和学生代理执行的多个阶段。通过广泛的评估,我们展示了PyTaskSyn相比基线技术显著提高了任务质量,并突出了验证管道中每种专门化代理类型的重要性。此外,我们使用我们公开的web应用程序进行了用户研究,并展示了PyTaskSyn可以提供与专家设计的任务相当高质量的编程任务,同时降低劳动强度和成本,并且比在线资源中可用的编程任务更具有参与性。