SQLPrompt:使用最少标记数据的上下文文本到 SQL 转换
本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中,通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明,该方法在 Spider 数据集上超出了最先进系统 2.5 个点,超出了最佳微调系统 5.1 个点。
May, 2023
研究大型语言模型在上下文学习中在文本到 SQL 任务中的表现,尤其是对于提示文本构建的影响和最有效的构建策略进行的全面调查。
May, 2023
该论文提出了一个两阶段的框架以增强当前基于大语言模型的自然语言到 SQL 系统的性能,首先引入了一种称为参考增强表示的新型提示表示方法,然后通过 few-shot 示范检索问题 - SQL 对来生成初步 SQL,对初步 SQL 中的实体进行解析以进行模式链接,在第二阶段中,简化了提示的模式信息,最终使用跨不同语言模型的交叉一致性作为后细化模块,取得了在 Spider 基准上的新的最先进结果,执行准确率达到了 87.6%。
Mar, 2024
本文提出一种基于大型语言模型的 Text-to-SQL 框架 —— 检索增强提示法,包括样本感知提示和动态修订链,通过引入检索来生成针对自然语言问题的 SQL 查询。
Jul, 2023
通过使用多个提示的多个方案和借助多个提示,本研究提出了一种新的方法来增强大型语言模型对复杂数据库模式和查询的感知能力,在 BIRD 和 Spider 基准测试中,该方法的执行准确度分别达到了 65.5% 和 89.6%,明显优于之前基于语境学习的方法,并在生成的查询准确度和效率方面建立了新的 SOTA 业绩。
May, 2024
我们研究了在文本到 SQL 任务中的提示设计问题,并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法,并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例,从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用,从而节省了成本。此外,我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明,LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中,我们的方法在 Spider dev 数据集上实现了最好的性能。
Oct, 2023
本文对大型语言模型(LLMs)在 Text-to-SQL 任务中的应用进行了研究,提出了一种新的集成解决方案 DAIL-SQL,并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力,以及任务特定的监督微调的优势和劣势,希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解,并激发进一步的研究和广泛应用。
Aug, 2023
本文研究如何通过链式思维提示增强 LLM 的文本到 SQL 解析的推理能力,实验结果表明,通过避免错误传播的详细信息,新方法在 Spider 开发集上的表现比现有方法提高了 2.4 个绝对值。
May, 2023
我们提出了一种针对开源大型语言模型在 Text-to-SQL 任务中的上下文理解和响应连贯性问题的系统方法,包括对开源大型语言模型在 Text-to-SQL 任务中的全面评估,以及用于有效问题表示的 openprompt 策略、监督微调的新策略、步骤推理中 Chain-of-Thought 的优势探索和用于增强少样本学习的 openexample 方法。此外,我们引入了一些高效的技术,如可变长度的开发数据库架构、目标列截断和示例列截断,解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是,我们的方法显著提高了 Llama2-7B 在 BIRD-Dev 数据集上的性能,从 2.54% 提高到 41.04%,Code Llama-7B 在 BIRD-Dev 数据集上的性能甚至超过了 GPT-4(46.35%)。
May, 2024
通过构建新数据集和提出五个评估任务,全面评估不同方法在文本到 SQL 过程中的性能,揭示了大型语言模型之间的性能差异,并提出了针对每个任务的最佳上下文学习解决方案,为改进基于大型语言模型的文本到 SQL 系统的开发提供了有价值的见解。
Mar, 2024