摘要
大型语言模型 (LLM) 能够生成代码,使得创建能够提高开发人员生产力的工具成为可能。开发人员用来编写软件的集成开发环境 (IDE) 通常被用作与 LLM 交互的接口。尽管已经发布了许多此类工具,但几乎所有工具都侧重于通用编程语言。特定领域语言,例如对信息技术 (IT) 自动化至关重要的那些语言,并没有受到太多关注。Ansible 就是一种基于 YAML 的 IT 自动化专用语言。Ansible Lightspeed 是一种基于 LLM 的服务,专门设计用于根据自然语言提示生成 Ansible YAML。
本文介绍了 Ansible Lightspeed 服务的设计和实现。然后,我们使用多种指标评估其对开发人员的效用,包括扩展利用率、用户编辑建议分析以及用户情感分析。评估基于收集的 10696 名真实用户(包括 3910 名回访用户)的数据。Ansible Lightspeed 服务和分析框架的代码已提供给他人使用。
据我们所知,我们的研究首次涉及数千名特定领域语言代码助手用户。我们也是第一个提供 N 天用户留存率数据的代码补全工具,第 30 天的留存率为 13.66%。我们提出了一种改进的用户接受率版本,称为强接受率,其中只有当建议少于 50% 被编辑并且这些编辑不会更改建议的关键部分时,才认为该建议被接受。通过关注 Ansible,Lightspeed 能够实现 49.08% 的多行 Ansible 任务建议的强接受率。通过我们的发现,我们深入了解了小型专用模型在特定领域环境中的有效性。