CoE-SQL: 基于上下文的多轮文本到 SQL 学习与版本链
我们研究了在文本到 SQL 任务中的提示设计问题,并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法,并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例,从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用,从而节省了成本。此外,我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明,LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中,我们的方法在 Spider dev 数据集上实现了最好的性能。
Oct, 2023
本文研究如何通过链式思维提示增强 LLM 的文本到 SQL 解析的推理能力,实验结果表明,通过避免错误传播的详细信息,新方法在 Spider 开发集上的表现比现有方法提高了 2.4 个绝对值。
May, 2023
本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中,通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明,该方法在 Spider 数据集上超出了最先进系统 2.5 个点,超出了最佳微调系统 5.1 个点。
May, 2023
本文提出了一种新的 Text-to-SQL 任务提示范例,称为 Divide-and-Prompt,采用 Chain-of-thought prompting 和大型语言模型解决复杂的 Text-to-SQL 语义解析任务,实验表明这些提示方法提高了 LLM 生成更高执行准确性的 Text-to-SQL 的能力。
Apr, 2023
我们提出了一种针对开源大型语言模型在 Text-to-SQL 任务中的上下文理解和响应连贯性问题的系统方法,包括对开源大型语言模型在 Text-to-SQL 任务中的全面评估,以及用于有效问题表示的 openprompt 策略、监督微调的新策略、步骤推理中 Chain-of-Thought 的优势探索和用于增强少样本学习的 openexample 方法。此外,我们引入了一些高效的技术,如可变长度的开发数据库架构、目标列截断和示例列截断,解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是,我们的方法显著提高了 Llama2-7B 在 BIRD-Dev 数据集上的性能,从 2.54% 提高到 41.04%,Code Llama-7B 在 BIRD-Dev 数据集上的性能甚至超过了 GPT-4(46.35%)。
May, 2024
本文对大型语言模型(LLMs)在 Text-to-SQL 任务中的应用进行了研究,提出了一种新的集成解决方案 DAIL-SQL,并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力,以及任务特定的监督微调的优势和劣势,希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解,并激发进一步的研究和广泛应用。
Aug, 2023
研究了如何将复杂的文本到 SQL 任务分解为较小的子任务,从而显著提高大型语言模型(LLMs)在推理过程中的性能,证明了将 SQL 查询分解为子问题并将这些子问题的解决方案提供给 LLMs 可以显著提高性能。在三个 LLMs 上的实验表明,此方法始终将性能提高约 10%,推动 LLMs 的准确性接近最先进水平,甚至超过用于持有 Spider 数据集的大型精调模型。
Apr, 2023
研究大型语言模型在上下文学习中在文本到 SQL 任务中的表现,尤其是对于提示文本构建的影响和最有效的构建策略进行的全面调查。
May, 2023
本研究提出了两个对话建模任务,旨在辅助多轮对话语义解析。结果表明,在上下文总结和明确建模每个轮次的语义变化方面,可以极大提高多轮语义解析的性能。
Dec, 2021
本文提出一种基于大型语言模型的 Text-to-SQL 框架 —— 检索增强提示法,包括样本感知提示和动态修订链,通过引入检索来生成针对自然语言问题的 SQL 查询。
Jul, 2023