LLM2D
分析软件工程项目中学生与大语言模型的交互
Analysis of Student-LLM Interaction in a Software Engineering Project
作者: Agrawal Naman, Ridwan Shariffdeen, Guanlin Wang, Sanka Rasnayaka, Ganesh Neelakanta Iyer
发布日期: 2/4/2025
arXiv ID: oai:arXiv.org:2502.01273v1

摘要

arXiv:2502.01273v1 类别: cross 摘要:大型语言模型(LLMs)在各种领域中显示出越来越高的能力,教育工作者对将这些LLMs融入学习过程中的兴趣逐渐增加。特别是在软件工程领域,LLMs在代码总结、代码生成和调试方面展现了更高质量的能力。尽管在实际的软件工程任务中已经进行了大量关于LLMs的研究,但很少有研究捕捉到LLMs在教育进步方面的益处及其对学生学习过程的影响。为此,我们分析了126名本科生在13周学期期间与AI助手的互动,以理解AI在软件工程学习中的益处。我们分析了对话、生成的代码、使用的代码以及将代码整合到代码库中的人工干预水平。 我们的研究发现,学生们更偏好使用ChatGPT而非CoPilot。我们的分析还发现,ChatGPT生成的响应计算复杂度低于CoPilot。此外,基于对话的互动有助于生成质量更高的代码,与自动生成的代码相比。尽早将LLMs应用于软件工程在快速发展的市场环境中至关重要。因此,下一代软件工程师必须具备与AI互动的技能,以提高生产力。