LLM2D
长上下文是你所需要的一切吗?利用大语言模型扩展的上下文实现NL2SQL
Is Long Context All You Need? Leveraging LLM's Extended Context for NL2SQL
作者: Yeounoh Chung, Gaurav T. Kakkar, Yu Gan, Brenton Milne, Fatma Ozcan
发布日期: 2/17/2025
arXiv ID: oai:arXiv.org:2501.12372v3

摘要

arXiv:2501.12372v3 宣布类型: 替换-交叉 摘要:大规模语言模型(LLMs)在各种自然语言处理任务中展现了令人印象深刻的能力。特别是,推理能力的提升和上下文窗口的扩展为利用这些强大模型开辟了新的途径。将自然语言转换为SQL(NL2SQL)是一个具有挑战性的问题,因为自然语言问题本身是内在模糊的,而SQL生成则需要精确理解复杂的数据库结构和语义。解决这种语义模糊问题的一种方法是提供更多的上下文信息。 在本工作中,我们探讨了由谷歌最新的大模型(\textit{gemini-1.5-pro})提供的扩展上下文窗口的表现和延迟权衡。我们研究了各种上下文信息的影响,包括列示例值、问题和SQL查询对、用户提供的提示、SQL文档和模式。据我们所知,这是首次研究扩展上下文窗口和额外上下文信息如何在准确性和延迟成本方面帮助NL2SQL生成的工作。我们展示了长上下文LLMs是稳健的,不会在扩展的上下文信息中迷失方向。此外,基于谷歌的\textit{gemini-pro-1.5}的长上下文NL2SQL管道在各种基准数据集上取得了强大的性能,无需进行微调和昂贵的自一致性技术。