Jun, 2023

零样本 NL2SQL 生成中的预训练语言模型和大型语言模型的交替使用

PDF
TL;DR本文提出了 ZeroNL2SQL 框架，该框架结合了 PLMs 和 LLMs 的优势，支持零样本学习自然语言到 SQL 转换。该框架首先通过架构对齐使用 PLMs 生成 SQL 草图，然后使用 LLMs 通过复杂推理填充缺失信息。经过全面实验，ZeroNL2SQL 在现实世界基准测试中取得了最佳的零样本 NL2SQL 性能。
zero-shot nl2sqlplmsllmsschema alignmentcomplex reasoning
发现论文，激发创造
  • Blar-SQL: 更快、更强、更小的 NL2SQL

    研究表明，通过任务分解可以大大提高大型语言模型在数据库理解和查询生成方面的能力，从而通过 SQL 查询回答人类问题。我们提出了一个新的框架，通过将架构划分为块来在有限的上下文中容纳更多信息，该方法的结果与 GPT-4 相当，但体积更小、速度更快并且成本更低。

    Jan, 2024

  • 针对特定上下文的 SQL 查询生成的语言模型微调

    通过对特定领域 (零售) 生成 SQL 查询的研究，使用开源大型语言模型 (LLMs) 进行微调，将自然语言转化为 SQL 查询，提高数据库的可访问性。

    Dec, 2023

  • SQL-PaLM: 文本到 SQL 的改良大型语言模型自适应

    本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM，该模型在几种不同的任务测试中都取得了最优结果，并展示了其应用于现实场景的鲁棒性和智能能力。

    May, 2023

  • 下一代数据库接口：LLM 基于文本到 SQL 的调查

    根据自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期存在的问题，传统的文本到 SQL 系统使用人工工程和深度神经网络，而最近的大型语言模型（LLMs）已经展示出在自然语言理解方面的显著能力，因此，将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。

    Jun, 2024

  • 利用表格内容进行元学习的零样本文本到 SQL

    本研究提出了一种新的零样本文本到 SQL 任务中的方法，该方法不依赖于任何额外的手动注释，并在 WikiSQL 数据集和 ESQL 数据集上展开了广泛实验，相较于使用相同预训练模型的现有方法，我们的方法在两个数据集上都取得了显著的改进，特别是在零样本子集上，我们的方法进一步提高了改进。

    Sep, 2021

  • 使用 SQL 查询大型语言模型

    使用大语言模型和 SQL 查询从自然语言文本中提取数据和查询，是信息检索和处理的新方向并带来了新的挑战和机遇。

    Apr, 2023

  • 大型语言模型在文本转 SQL 合成中的有效性分析

    该研究通过使用大型语言模型（LLMs）来进行文本到 SQL 程序合成的各种方法以及相关的结果和见解，通过使用流行的 Text-to-SQL 数据集（spider）输入自然语言问题和数据库模式并生成正确的 SQL SELECT 查询。通过细调 WizardLM 的 WizardCoder-15B 模型和 fine-tuning gpt-3.5-turbo-16k（Few-shot）+ gpt-4-turbo（Zero-shot error correction）的方式，查询的执行准确率达到了较高的 82.1%。大部分错误查询可以归为七个不同的类别，这揭示了 LLM 程序合成的瑕疵以及可改进的方向。

    Jan, 2024

  • 将大型语言模型对齐到领域特定的图数据库

    使用 ChatGPT 创建自我指导的领域特定自然语言 - 图查询数据对以及使用这些数据对大型语言模型进行微调，并提出了一种提取相关模式的方法来引导模型生成准确的图查询语言（GQL）。实验证明，该方法在金融领域和医学领域的图数据库上取得了显著的性能改进。

    Feb, 2024

  • 利用语言模型生成训练数据：走向零样本语言理解

    本文提出了一种简单的方法，使用预训练语言模型 (Pretrained language models) 进行全零样本学习 (zero-shot learning) 自然语言理解任务 (NLU tasks)。该方法使用单向和双向 PLMs 生成和训练数据，其中训练数据是使用提示 (prompts) 引导的类别条件文本。使用这种方法，在 GLUE 数据集的七个分类任务中取得了强劲的表现 (例如在 MNLI-m/mm 上的 72.3/73.8，以及在 SST-2 上的 92.8)，相对于零样本提示方法，甚至实现了与使用每类 32 个训练样本的强有力的少样本方法相当的结果。同时，采用了标签平滑和时间模型的融合技术以达到更好的泛化和稳定性。

    Feb, 2022

  • 提升大规模语言模型作为 SQL 写手的能力

    PURPLE 是一个使用预训练模型来检索逻辑增强提示的方法，通过检索包含所需逻辑运算符组合的演示以引导 LLMs 生成更好的 SQL 翻译，从而提高准确性。在流行的 NL2SQL 基准 Spider 的验证集上，PURPLE 实现了 80.5% 准确性和 87.8% 执行匹配准确性的新的最先进性能，具有鲁棒性和成本效益。

    Mar, 2024