LLM2D
基于大型语言模型的零样本可编译代码片段合成
ZS4C: Zero-Shot Synthesis of Compilable Code for Incomplete Code Snippets using LLMs
作者: Azmain Kabir, Shaowei Wang, Yuan Tian, Tse-Hsun Chen, Muhammad Asaduzzaman, Wenbin Zhang
发布日期: 10/10/2024
arXiv ID: oai:arXiv.org:2401.14279v2

摘要

大型语言模型(LLM)已在许多自然语言处理任务中取代了传统方法。然而,在命名实体识别(NER)中,现有的基于LLM的方法…… (This is incorrect. The provided text is not about NER. The following is the correct translation.) 技术问答网站对于寻求知识的软件开发者来说非常宝贵,但它们提供的代码片段由于类型未解析和缺少库而常常无法编译且不完整。这对于希望重用或分析这些片段的用户来说是一个挑战。现有方法要么不侧重于创建可编译代码,要么成功率低。为了解决这个问题,我们提出了ZS4C,这是一种使用大型语言模型(LLM)从不完整的代码片段中零样本合成可编译代码的轻量级方法。ZS4C分两个阶段运行:首先,它使用LLM(如GPT-3.5)来识别片段中缺少的导入语句;其次,它与验证器(例如,编译器)协作以修复由不正确的导入和语法问题引起的编译错误。我们在StatType-SO基准测试和一个新的数据集Python-SO上评估了ZS4C,该数据集包含来自Stack Overflow的涵盖20个最受欢迎的Python库的539个Python代码片段。ZS4C的性能明显优于现有方法,与最先进的SnR相比,编译率从63%提高到95.1%,提高了50.1%。平均而言,ZS4C比SnR能够推断出更准确的导入语句(F1分数为0.98),F1分数提高了8.5%。