May, 2024

Open-SQL 框架：在开源大型语言模型上增强文本到 SQL 转换

PDF
TL;DR我们提出了一种针对开源大型语言模型在 Text-to-SQL 任务中的上下文理解和响应连贯性问题的系统方法，包括对开源大型语言模型在 Text-to-SQL 任务中的全面评估，以及用于有效问题表示的 openprompt 策略、监督微调的新策略、步骤推理中 Chain-of-Thought 的优势探索和用于增强少样本学习的 openexample 方法。此外，我们引入了一些高效的技术，如可变长度的开发数据库架构、目标列截断和示例列截断，解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是，我们的方法显著提高了 Llama2-7B 在 BIRD-Dev 数据集上的性能，从 2.54% 提高到 41.04%，Code Llama-7B 在 BIRD-Dev 数据集上的性能甚至超过了 GPT-4（46.35%）。
发现论文，激发创造
  • 基于大型语言模型的文本转 SQL：基准评估

    本文对大型语言模型（LLMs）在 Text-to-SQL 任务中的应用进行了研究，提出了一种新的集成解决方案 DAIL-SQL，并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力，以及任务特定的监督微调的优势和劣势，希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解，并激发进一步的研究和广泛应用。

    Aug, 2023

  • 大型语言模型在文本转 SQL 合成中的有效性分析

    该研究通过使用大型语言模型（LLMs）来进行文本到 SQL 程序合成的各种方法以及相关的结果和见解，通过使用流行的 Text-to-SQL 数据集（spider）输入自然语言问题和数据库模式并生成正确的 SQL SELECT 查询。通过细调 WizardLM 的 WizardCoder-15B 模型和 fine-tuning gpt-3.5-turbo-16k（Few-shot）+ gpt-4-turbo（Zero-shot error correction）的方式，查询的执行准确率达到了较高的 82.1%。大部分错误查询可以归为七个不同的类别，这揭示了 LLM 程序合成的瑕疵以及可改进的方向。

    Jan, 2024

  • 增强大型语言模型的少样本文本到 SQL 能力：关于提示设计策略的研究

    本文介绍了一种基于大型语言模型的 In-context learning 方法用于文本到 SQL 查询转换中，通过不同的演示选择策略和指令格式来提高 LLMs 性能。实验结果表明，该方法在 Spider 数据集上超出了最先进系统 2.5 个点，超出了最佳微调系统 5.1 个点。

    May, 2023

  • 大型语言模型的文本到 SQL 能力基准测试：全面评估

    通过构建新数据集和提出五个评估任务，全面评估不同方法在文本到 SQL 过程中的性能，揭示了大型语言模型之间的性能差异，并提出了针对每个任务的最佳上下文学习解决方案，为改进基于大型语言模型的文本到 SQL 系统的开发提供了有价值的见解。

    Mar, 2024

  • 基于大型语言模型的文本到 SQL、文本到 Python 和文本到函数的重新增强 —— 在交通领域中的真实应用

    我们提出了一种更适应性更强的提示方法，通过查询重写和 SQL 增强来提高 Text-to-SQL 模型的性能，并在商业数据集上实验证明了显著的性能改善。

    Oct, 2023

  • 针对特定上下文的 SQL 查询生成的语言模型微调

    通过对特定领域 (零售) 生成 SQL 查询的研究，使用开源大型语言模型 (LLMs) 进行微调，将自然语言转化为 SQL 查询，提高数据库的可访问性。

    Dec, 2023

  • DTS-SQL：基于小型大语言模型的分解文本到 SQL

    通过将文本到 SQL 任务分解为两个较简单的任务，我们引入了一种新的两阶段微调方法，以减少对专有大型语言模型（LLMs）的依赖，从而提高开源模型的执行准确率，减轻数据隐私的忧虑。通过对两个大型跨领域数据集和两个小型 LLM 的全面评估，我们证明这种方法将开源模型的性能与专有模型相一致，执行准确率提高了 3 到 7 个百分点。

    Feb, 2024

  • 下一代数据库接口：LLM 基于文本到 SQL 的调查

    根据自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期存在的问题，传统的文本到 SQL 系统使用人工工程和深度神经网络，而最近的大型语言模型（LLMs）已经展示出在自然语言理解方面的显著能力，因此，将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。

    Jun, 2024

  • CHESS: 上下文利用有效 SQL 综合

    利用大型语言模型（LLMs）将自然语言问题转化为 SQL 查询（文本到 SQL）是一种有前途但具有挑战性的方法，特别是在应用于具有复杂和庞大模式的现实世界数据库时。我们提出了一个新的流程来解决这个问题，该流程有效地检索相关数据和上下文，选择一个高效的模式，并合成正确高效的 SQL 查询。

    May, 2024

  • CoE-SQL: 基于上下文的多轮文本到 SQL 学习与版本链

    我们通过引入 CoE-SQL 方法，利用上下文依赖关系来改善大型语言模型在多轮文本转 SQL 任务中生成 SQL 查询时的推理能力，并通过大量消融研究确定了最佳配置，从而稳定地优于其他基线模型，同时在 SParC 和 CoSQL 两个基准测试上取得了最新性能，与 SOTA fine-tuned 模型相媲美。

    May, 2024