LLM2D
基于 SQL 质量度量的文本到 SQL 的 LLM 微调增强
Enhancing LLM Fine-tuning for Text-to-SQLs by SQL Quality Measurement
作者: Shouvon Sarker, Xishuang Dong, Xiangfang Li, Lijun Qian
发布日期: 10/4/2024
arXiv ID: oai:arXiv.org:2410.01869v1

摘要

文本到 SQL 技术使得非专业用户能够使用自然语言查询轻松地从关系数据库中检索所需信息。虽然最近的进展,特别是像 GPT 和 T5 这样的大型语言模型 (LLM) 的出现,在 BIRD 等大型基准测试中展现出令人印象深刻的性能,但目前最先进的 (SOTA) 基于 LLM 的文本到 SQL 模型往往需要付出大量努力来开发辅助工具,例如 SQL 分类器,才能实现高性能。本文提出了一种新方法,它只需要 SQL 质量度量来提升基于 LLM 的文本到 SQL 的性能。该方法建立了一种 SQL 质量评估机制,根据预定义的标准和实际数据库响应来评估生成的 SQL 查询。这种反馈循环使模型能够根据语法正确性和语义准确性不断学习和改进输出结果。该方法在 BIRD 基准测试上进行了全面验证,评估了不同文本到 SQL 难度级别下的执行准确率 (EX) 和有效效率评分 (VES)。实验结果表明,与 GPT4 和 T5 等 SOTA 模型相比,该方法在 EX 和 VES 方面都具有竞争力。