摘要
大型语言模型 (LLM) 主要通过生成 API 请求来利用外部工具,以提高任务完成效率。API 请求生成的准确性决定了 LLM 完成任务的能力。
由于 LLM 本身存在幻觉,因此很难有效且准确地生成正确的 API 请求。
当前的研究使用基于提示的反馈来促进基于 LLM 的 API 请求生成。然而,现有方法缺乏事实信息,并且不够详细。
为了解决这些问题,我们提出了 AutoFeedback,这是一种基于 LLM 的框架,用于高效且准确地生成 API 请求,包含一个静态扫描组件 (SSC) 和一个动态分析组件 (DAC)。SSC 将 API 请求中检测到的错误作为伪事实纳入反馈,丰富了事实信息。DAC 从 API 文档中检索信息,提高了反馈的详细程度。
基于这两个组件,AutoFeedback 在 LLM 生成 API 请求的过程中实现了两个反馈循环。
大量的实验表明,它显著提高了 API 请求生成的准确性,并降低了交互成本。AutoFeedback 在真实世界 API 数据集上实现了 100.00% 的准确率,并将与 GPT-3.5 Turbo 的交互成本降低了 23.44%,并将与 GPT-4 Turbo 的交互成本降低了 11.85%。