通过工作流范式增强关注机制:改进基于 LLM 的文本到 SQL 的分解
研究了如何将复杂的文本到 SQL 任务分解为较小的子任务,从而显著提高大型语言模型(LLMs)在推理过程中的性能,证明了将 SQL 查询分解为子问题并将这些子问题的解决方案提供给 LLMs 可以显著提高性能。在三个 LLMs 上的实验表明,此方法始终将性能提高约 10%,推动 LLMs 的准确性接近最先进水平,甚至超过用于持有 Spider 数据集的大型精调模型。
Apr, 2023
本文对大型语言模型(LLMs)在 Text-to-SQL 任务中的应用进行了研究,提出了一种新的集成解决方案 DAIL-SQL,并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力,以及任务特定的监督微调的优势和劣势,希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解,并激发进一步的研究和广泛应用。
Aug, 2023
本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中,通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明,该方法在 Spider 数据集上超出了最先进系统 2.5 个点,超出了最佳微调系统 5.1 个点。
May, 2023
基于大型语言模型和通用提示的适应和分解方法在 Text-to-SQL 语义解析任务中表现出卓越的性能,并在 KaggleDBQA 数据集上展现了跨领域和跨组合通用性的一致性改进。
Aug, 2023
通过将文本到 SQL 任务分解为两个较简单的任务,我们引入了一种新的两阶段微调方法,以减少对专有大型语言模型(LLMs)的依赖,从而提高开源模型的执行准确率,减轻数据隐私的忧虑。通过对两个大型跨领域数据集和两个小型 LLM 的全面评估,我们证明这种方法将开源模型的性能与专有模型相一致,执行准确率提高了 3 到 7 个百分点。
Feb, 2024
我们研究了在文本到 SQL 任务中的提示设计问题,并尝试提高大型语言模型在生成 SQL 查询时的推理能力。我们设计了一种类似于模式链接的思维链 (CoT) 提示的方法,并提供了一种名为 ACT-SQL 的方法来自动生成自动 CoT 示例,从而整个过程不需要手动标注。我们的方法在生成一个 SQL 查询时仅使用一次 LLMs 的 API 调用,从而节省了成本。此外,我们将我们的上下文学习方法扩展到多轮文本到 SQL 任务。实验结果表明,LLMs 的性能可以受益于我们的 ACT-SQL 方法。在现有的上下文学习方法中,我们的方法在 Spider dev 数据集上实现了最好的性能。
Oct, 2023
我们提出了一种更适应性更强的提示方法,通过查询重写和 SQL 增强来提高 Text-to-SQL 模型的性能,并在商业数据集上实验证明了显著的性能改善。
Oct, 2023
本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM,该模型在几种不同的任务测试中都取得了最优结果,并展示了其应用于现实场景的鲁棒性和智能能力。
May, 2023
研究表明,通过任务分解可以大大提高大型语言模型在数据库理解和查询生成方面的能力,从而通过 SQL 查询回答人类问题。我们提出了一个新的框架,通过将架构划分为块来在有限的上下文中容纳更多信息,该方法的结果与 GPT-4 相当,但体积更小、速度更快并且成本更低。
Jan, 2024
利用大型语言模型(LLMs)将自然语言问题转化为 SQL 查询(文本到 SQL)是一种有前途但具有挑战性的方法,特别是在应用于具有复杂和庞大模式的现实世界数据库时。我们提出了一个新的流程来解决这个问题,该流程有效地检索相关数据和上下文,选择一个高效的模式,并合成正确高效的 SQL 查询。
May, 2024