LLM2D
当前语言模型是否支持 R 语言代码智能?
Do Current Language Models Support Code Intelligence for R Programming Language?
作者: ZiXiao Zhao, Fatemeh H. Fard
发布日期: 10/11/2024
arXiv ID: oai:arXiv.org:2410.07793v1

摘要

近年来,代码预训练语言模型(Code-PLMs)的快速发展推动了软件工程(SE)领域的进步,并在许多SE任务中取得了突破性成果。尽管这些模型在Java和Python等流行编程语言的SE任务中取得了最先进的性能,但科学软件及其相关语言,如R编程语言,很少能从中受益,甚至没有被评估。研究表明,R与其他编程语言有许多差异,需要特定的技术。在本研究中,我们首次对R的代码智能进行了深入探讨。为此,我们收集并开源了一个R数据集,并评估了Code-PLMs在代码摘要和方法名预测这两个任务中的性能,使用了几种设置和策略,包括Tidy-verse和Base R两种R风格的差异。我们的结果表明,所研究的模型在处理R编程语言代码时,性能出现了不同程度的下降,这得到了人工评估的支持。此外,即使经过多语言微调,并非所有模型在R特定任务中都表现出性能提升。R中的双语法范式显着影响了模型的性能,特别是在代码摘要任务中。此外,R代码库中固有的项目特定上下文在尝试跨项目训练时会显着影响性能。