摘要
为了解决大型语言模型 (LLM) 在文本到 SQL 任务中的性能挑战,我们提出了 CHASE-SQL,一个全新的框架,它采用创新的策略,利用多智能体建模中的测试时计算来改进候选生成和选择。CHASE-SQL 利用 LLM 的内在知识,使用不同的 LLM 生成器来生成多样化且高质量的 SQL 候选,这些生成器具有以下特点:(1)一种分而治之的方法,将复杂查询分解成可管理的子查询,在一个 LLM 调用中完成;(2)基于查询执行计划的链式思维推理,反映了数据库引擎在执行过程中的步骤;(3)一种独特的实例感知合成示例生成技术,为测试问题提供特定的少样本演示。为了识别最佳候选,我们使用一个选择代理通过与微调的二元候选选择 LLM 进行成对比较来对候选进行排名。这种选择方法已被证明比其他方法更稳健。所提出的生成器-选择器框架不仅提高了 SQL 查询的质量和多样性,而且优于以前的方法。总的来说,我们提出的 CHASE-SQL 在著名的 BIRD 文本到 SQL 数据集基准的测试集和开发集上实现了 73.0% 和 73.01% 的最先进的执行精度,使 CHASE-SQL 成为排行榜上的最高提交结果(在论文提交时)。