May, 2023

LLM 是否可以作为数据库接口？一种基于大规模数据库的文本到 SQL 的 BIg Bench

PDF
TL;DR本文提出了一个名为 Bird 的大规模基准数据集，旨在填补现有基准测试数据集在数据库值、外部知识和 SQL 某些方面的不足。实验结果表明，在大型数据库的文本到 SQL 转换中，数据库值具有重要意义。同时，最先进的文本到 SQL 模型 ChatGPT，转换准确度仅为 40.08%，距离人类结果 92.96% 还有巨大的差距。
text-to-sql parsingbenchmarkbirddatabase valuesexecution accuracy
发现论文，激发创造
  • 基于大型语言模型的文本转 SQL：基准评估

    本文对大型语言模型（LLMs）在 Text-to-SQL 任务中的应用进行了研究，提出了一种新的集成解决方案 DAIL-SQL，并通过实验证明了其在 Spider 排行榜上取得了 86.6% 的执行准确率。研究重点在于提示工程中的令牌效率和任务特定的监督微调。通过探索开源 LLMs 在 Text-to-SQL 中的潜力，以及任务特定的监督微调的优势和劣势，希望能够对 LLMs 在 Text-to-SQL 领域提供更深入的了解，并激发进一步的研究和广泛应用。

    Aug, 2023

  • 文本转 SQL 中噪音效应的理解：BIRD-Bench 基准测试的研究

    文本到结构化查询语言（SQL）的转换对于使结构化数据库可以广泛访问而无需专业知识至关重要。这项研究深入分析了广泛使用的 BIRD-Bench 基准测试中噪声的分布和类型，以及噪声对模型的影响。我们发现问题和黄金查询中的噪声在数据集中普遍存在，域之间的数量存在差异，并且噪音类型分布不均。不正确的黄金 SQL 查询会生成不正确的黄金答案，对基准测试的可靠性有重大影响。令人惊讶的是，在纠正后的 SQL 查询上，零翻译基准超过了最先进的提示方法的性能。我们得出结论认为，信息噪声标签和可靠的基准测试对于开发能处理不同类型噪声的新文本到 SQL 方法至关重要。

    Feb, 2024

  • 下一代数据库接口：LLM 基于文本到 SQL 的调查

    根据自然语言问题（文本到 SQL）生成准确的 SQL 是一个长期存在的问题，传统的文本到 SQL 系统使用人工工程和深度神经网络，而最近的大型语言模型（LLMs）已经展示出在自然语言理解方面的显著能力，因此，将 LLM-based 实现整合到文本到 SQL 研究中可以带来独特的机遇、挑战和解决方案。

    Jun, 2024

  • ScienceBenchmark：一个复杂的真实世界基准测试，用于评估自然语言转 SQL 系统

    本文介绍了 ScienceBenchmark，这是一个 NL-to-SQL 基准，旨在使高度特定于领域的数据库中的自然语言查询能够正常工作，并扩展了人工生成数据的数量，以使用 GPT-3 生成合成数据。

    Jun, 2023

  • FinSQL: 基于模型无关的 LLM 的文本到 SQL 框架，用于金融分析

    为了解决金融分析中不存在实用的针对文本到 SQL 的基准数据集以及现有方法未考虑金融应用中数据库的独特特性的问题，我们收集了一个实用的文本到 SQL 基准数据集，并提出了一个基于模型无关的大型语言模型（LLMs）的金融分析文本到 SQL 框架。经过大量实验证明，该框架在小成本下实现了最先进的文本到 SQL 性能，并且在需要少量跨数据库模型转移的场景中可以提高高达 36.64% 的性能。

    Jan, 2024

  • 评估大型语言模型的文本到 SQL 能力

    通过对 Codex 语言模型的 Text-to-SQL 能力进行实证评估，我们发现 Codex 在 Spider 基准测试中是一个强有力的基线，并分析了 Codex 在该设置中的失败模式。此外，我们展示了在 GeoQuery 和 Scholar 基准测试中，提供少量领域内示例可以使 Codex 表现优于针对这些少量样例进行微调的现有模型。

    Mar, 2022

  • 大型语言模型的文本到 SQL 能力基准测试：全面评估

    通过构建新数据集和提出五个评估任务，全面评估不同方法在文本到 SQL 过程中的性能，揭示了大型语言模型之间的性能差异，并提出了针对每个任务的最佳上下文学习解决方案，为改进基于大型语言模型的文本到 SQL 系统的开发提供了有价值的见解。

    Mar, 2024

  • 基于大型语言模型的文本到 SQL、文本到 Python 和文本到函数的重新增强 —— 在交通领域中的真实应用

    我们提出了一种更适应性更强的提示方法，通过查询重写和 SQL 增强来提高 Text-to-SQL 模型的性能，并在商业数据集上实验证明了显著的性能改善。

    Oct, 2023

  • Open-SQL 框架：在开源大型语言模型上增强文本到 SQL 转换

    我们提出了一种针对开源大型语言模型在 Text-to-SQL 任务中的上下文理解和响应连贯性问题的系统方法，包括对开源大型语言模型在 Text-to-SQL 任务中的全面评估，以及用于有效问题表示的 openprompt 策略、监督微调的新策略、步骤推理中 Chain-of-Thought 的优势探索和用于增强少样本学习的 openexample 方法。此外，我们引入了一些高效的技术，如可变长度的开发数据库架构、目标列截断和示例列截断，解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是，我们的方法显著提高了 Llama2-7B 在 BIRD-Dev 数据集上的性能，从 2.54% 提高到 41.04%，Code Llama-7B 在 BIRD-Dev 数据集上的性能甚至超过了 GPT-4（46.35%）。

    May, 2024

  • BookSQL：面向会计领域的大规模文本到 SQL 数据集

    给定一份新的大规模文本转 SQL 数据集（BookSQL），研究作者通过实验与分析现有的最先进模型，发现在会计和金融领域存在显著的性能差距，进而指出有需要开发更专注于该领域的模型。

    Jun, 2024