LLM2D
LLMs与人类专家在需求工程中的分析
Analysis of LLMs vs Human Experts in Requirements Engineering
作者: Cory Hymel, Hiroe Johnson
发布日期: 2/5/2025
arXiv ID: oai:arXiv.org:2501.19297v2

摘要

arXiv:2501.19297v2 更新类型:替换-交叉 摘要:关于大型语言模型(LLM)在软件开发中的应用研究大多集中在代码生成方面。对于需求工程(RE),涉及系统需求的开发和验证的过程,相关文献较少。在RE中,有需求获取这一子领域,指的是从用户、客户和其他利益相关者处发现和记录系统的功能性。在这项分析中,我们对比了LLM在时间限定和提示限定条件下与人类专家获取软件系统需求的能力。我们发现,由LLM生成的需求被评估为更符合需求(+1.12分),并在完整度方面优于人类生成的需求(+10.2%)。相反,我们发现用户倾向于认为他们认为更符合需求的解决方案是由人类专家生成的。此外,虽然由LLM生成的文档得分更高,且速度为人类专家的720倍,但其平均成本仅为人类专家的0.06%。总体而言,这些发现表明,LLM将在需求工程中发挥越来越重要的作用,通过改进需求定义、使资源分配更加高效并缩短整体项目时间线。