LLM2D
LLMs与人类专家在需求工程中的分析
Analysis of LLMs vs Human Experts in Requirements Engineering
作者: Cory Hymel, Hiroe Johnson
发布日期: 2/5/2025
arXiv ID: 2501.19297

摘要

arXiv:2501.19297v2 宣告类型: 替换-交叉 摘要:关于大型语言模型(LLM)在软件开发中的应用,大多数研究都集中在代码生成方面。在需求工程(RE)领域,涉及到系统需求的开发和验证过程,相关的文献却很少。需求工程中有一个分支是需求获取,这是从用户、客户及其他利益相关者处发现并记录系统需求的过程。在这项分析中,我们将LLM与人类专家在时间限制和提示限制的研究中,获取软件系统需求的能力进行了比较。我们发现,由LLM生成的需求相对于人类生成的需求更为一致(+1.12),且更完整(+10.2%)。相反,用户倾向于认为他们认为更一致的解决方案是由人类专家生成的。此外,虽然LLM生成的文档得分更高,并且速度是人类专家的720倍,但其平均成本仅为人类专家的0.06%。总体而言,这些发现表明,通过改善需求定义、提高资源分配效率并缩短项目时间线,LLM将在需求工程中发挥越来越重要的作用。