LLM2D
Demo-Craft:利用上下文学习提高大型语言模型的代码生成
Demo-Craft: Using In-Context Learning to Improve Code Generation in Large Language Models
作者: Nirmal Joshua Kapu, Mihit Sreejith
发布日期: 3/25/2025
arXiv ID: oai:arXiv.org:2411.00865v2

摘要

arXiv:2411.00865v2 宣布类型: replace-cross 摘要:使用大型语言模型(LLMs)从自然语言指令生成可执行代码面临着语义歧义和理解任务特定上下文的挑战。为了应对这些问题,我们提出了一种名为DemoCraft的系统,该系统通过利用上下文学习和示范选择,并结合潜在概念学习来增强代码生成。潜在概念学习引入了额外的概念标记,这些是可训练的嵌入,能够捕捉任务特定的知识。然后,我们在两个主要的数据集MBPP和Humaneval上测试了该系统。我们的实验结果表明,与基线模型相比,所提出系统的pass@k指标大约提高了2倍。此外,我们还引入了两个新的评估指标:correctness@k和similarity@k。我们的实证研究表明,这些指标的改进幅度接近3倍。