摘要
arXiv:2504.20406v1 宣告类型: 新
摘要:脚本接口使用户能够自动化任务并自定义软件工作流程,但传统上创建脚本需要编程专业知识和对特定API的熟悉,这对许多用户来说是一个障碍。尽管大型语言模型(LLMs)可以从自然语言查询生成代码,但运行时代码生成受到未验证的代码、安全风险、响应时间较长和计算成本较高的限制。为了弥合这一差距,我们提出了一种离线模拟框架,利用LLMs和公开的脚本指南来创建特定于软件的技能集,即一组经过验证的脚本。我们的框架由两个组件组成:(1) 任务创建,使用自顶向下的功能指导和自底向上的API协同探索生成有用的任务;(2) 技能生成,通过执行反馈来完善和验证脚本。为了有效导航庞大的API景观,我们引入了一种基于图神经网络(GNN)的链接预测模型来捕捉API协同效应,这使得能够生成涉及未充分利用的API的技能并扩展技能集的多样性。实验表明,与传统的运行时代码生成相比,我们的框架显著提高了自动化成功率、减少了响应时间,并节省了运行时的令牌成本。这是首次尝试使用软件脚本接口作为基于LLM系统的测试平台,突显了在受控环境中利用执行反馈的优势,并提供了将AI能力与特定软件领域的用户需求对齐的宝贵见解。