从自然语言到SQL:基于大型语言模型的文本转SQL系统评述
本文介绍了一种基于大型语言模型的In-context learning方法用于文本到SQL查询转换中,通过不同的演示选择策略和指令格式来提高LLMs性能。实验结果表明,该方法在Spider数据集上超出了最先进系统2.5个点,超出了最佳微调系统5.1个点。
May, 2023
本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM,该模型在几种不同的任务测试中都取得了最优结果,并展示了其应用于现实场景的鲁棒性和智能能力。
May, 2023
本文对大型语言模型(LLMs)在Text-to-SQL任务中的应用进行了研究,提出了一种新的集成解决方案DAIL-SQL,并通过实验证明了其在Spider排行榜上取得了86.6%的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源LLMs在Text-to-SQL中的潜力,以及任务特定的监督微调的优势和劣势,希望能够对LLMs在Text-to-SQL领域提供更深入的了解,并激发进一步的研究和广泛应用。
Aug, 2023
通过对特定领域 (零售) 生成 SQL 查询的研究,使用开源大型语言模型 (LLMs) 进行微调,将自然语言转化为 SQL 查询,提高数据库的可访问性。
Dec, 2023
通过构建新数据集和提出五个评估任务,全面评估不同方法在文本到SQL过程中的性能,揭示了大型语言模型之间的性能差异,并提出了针对每个任务的最佳上下文学习解决方案,为改进基于大型语言模型的文本到SQL系统的开发提供了有价值的见解。
Mar, 2024
该论文提出了一个两阶段的框架以增强当前基于大语言模型的自然语言到SQL系统的性能,首先引入了一种称为参考增强表示的新型提示表示方法,然后通过few-shot示范检索问题-SQL对来生成初步SQL,对初步SQL中的实体进行解析以进行模式链接,在第二阶段中,简化了提示的模式信息,最终使用跨不同语言模型的交叉一致性作为后细化模块,取得了在Spider基准上的新的最先进结果,执行准确率达到了87.6%。
Mar, 2024
我们提出了一种针对开源大型语言模型在Text-to-SQL任务中的上下文理解和响应连贯性问题的系统方法,包括对开源大型语言模型在Text-to-SQL任务中的全面评估,以及用于有效问题表示的openprompt策略、监督微调的新策略、步骤推理中Chain-of-Thought的优势探索和用于增强少样本学习的openexample方法。此外,我们引入了一些高效的技术,如可变长度的开发数据库架构、目标列截断和示例列截断,解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是,我们的方法显著提高了Llama2-7B在BIRD-Dev数据集上的性能,从2.54%提高到41.04%,Code Llama-7B在BIRD-Dev数据集上的性能甚至超过了GPT-4(46.35%)。
May, 2024
根据自然语言问题(文本到SQL)生成准确的SQL是一个长期存在的问题,传统的文本到SQL系统使用人工工程和深度神经网络,而最近的大型语言模型(LLMs)已经展示出在自然语言理解方面的显著能力,因此,将LLM-based实现整合到文本到SQL研究中可以带来独特的机遇、挑战和解决方案。
Jun, 2024
通过比较9个基于大型语言模型的文本到SQL模型在测试套件执行准确率(EXE)、精确匹配准确率(ESM)和改进后的ESM+(ESM+)方面的表现,我们发现EXE和ESM评估指标在准确性方面存在明显的不足,而ESM+可以提供更稳定的评估结果,因此我们提供了ESM+脚本作为开源工具,以便社区做出贡献并获得更可靠的文本到SQL评估。
Jul, 2024
该研究解决了当前文本到SQL模型在性能上依赖Auxiliary工具的问题,提出了仅依赖SQL质量测量的方法,建立了一个评估生成SQL查询的机制。实验结果显示,该方法在执行准确度和有效效率评分上与最先进的模型(如GPT4和T5)具有竞争力,彰显了模型输出持续学习和优化的潜力。
Oct, 2024