Feb, 2024

CodeS：构建面向文本到 SQL 的开源语言模型

PDF
TL;DR本研究介绍一种名为 CodeS 的开源语言模型，旨在解决 Text-to-SQL 任务中现有限制，并通过增量预训练、模式构建和双向数据增强等方法提升了 CodeS 在 SQL 生成能力上的表现，并在多个数据集上取得了新的最先进准确性和鲁棒性。
language modelstext-to-sqlcodessql generation abilitiesbenchmark
发现论文，激发创造
  • 面向会话的文本到 SQL 转换：现状和未来挑战的探索

    通过多任务联合训练和模式重排应用于 text-to-SQL 任务中，可以显著提高模型的表现，进一步结合查询计划模型和模式链接算法后，T5-3B 的精确匹配和执行匹配的准确度均超过 SOTA 基线。

    Feb, 2023

  • Open-SQL 框架：在开源大型语言模型上增强文本到 SQL 转换

    我们提出了一种针对开源大型语言模型在 Text-to-SQL 任务中的上下文理解和响应连贯性问题的系统方法，包括对开源大型语言模型在 Text-to-SQL 任务中的全面评估，以及用于有效问题表示的 openprompt 策略、监督微调的新策略、步骤推理中 Chain-of-Thought 的优势探索和用于增强少样本学习的 openexample 方法。此外，我们引入了一些高效的技术，如可变长度的开发数据库架构、目标列截断和示例列截断，解决了大规模数据库中的挑战。我们的研究结果强调了对监督微调对上下文学习能力的影响进行进一步研究的必要性。值得注意的是，我们的方法显著提高了 Llama2-7B 在 BIRD-Dev 数据集上的性能，从 2.54% 提高到 41.04%，Code Llama-7B 在 BIRD-Dev 数据集上的性能甚至超过了 GPT-4（46.35%）。

    May, 2024

  • 基于大型语言模型的文本到 SQL、文本到 Python 和文本到函数的重新增强 —— 在交通领域中的真实应用

    我们提出了一种更适应性更强的提示方法，通过查询重写和 SQL 增强来提高 Text-to-SQL 模型的性能，并在商业数据集上实验证明了显著的性能改善。

    Oct, 2023

  • 评估大型语言模型的文本到 SQL 能力

    通过对 Codex 语言模型的 Text-to-SQL 能力进行实证评估，我们发现 Codex 在 Spider 基准测试中是一个强有力的基线，并分析了 Codex 在该设置中的失败模式。此外，我们展示了在 GeoQuery 和 Scholar 基准测试中，提供少量领域内示例可以使 Codex 表现优于针对这些少量样例进行微调的现有模型。

    Mar, 2022

  • CodeT5+: 用于代码理解和生成的开源大型语言模型

    提出了一种名为 CodeT5 + 的编译器 - 解码器语言模型，具有灵活的组件模块和多样化的预训练任务，能够在不同的代码相关基准测试中取得最先进的结果，特别是在针对人类评估的代码生成任务中。

    May, 2023

  • 针对特定上下文的 SQL 查询生成的语言模型微调

    通过对特定领域 (零售) 生成 SQL 查询的研究，使用开源大型语言模型 (LLMs) 进行微调，将自然语言转化为 SQL 查询，提高数据库的可访问性。

    Dec, 2023

  • 使用代码语言模型进行文本到 SQL 错误修正

    本研究提出了一种基于从语言模型的预训练语料库中获得知识来更好地表示 SQL 查询及其编辑的方法，并探讨如何构建自动文本到 SQL 纠错模型，使用从语句层次的编辑模型取代仅仅是基于标记的编辑。该纠错模型能够使得不同解析器的准确匹配率提高 2.4-6.5%, 在两个强的基线上获得高达 4.3％的绝对改进。

    May, 2023

  • 探索大型语言模型在解决编程问题中的鲁棒性

    该研究探讨了大型语言模型在编程问题中的应用，发现最新技术如 InstructGPT 和 ChatGPT 在处理指令时表现优异，而早期使用变量名如 Codex 的模型的性能受描述问题时表浅的指标较大影响。

    Jun, 2023

  • 阿拉伯语文本到 SQL 的 Ar-Spider

    在本文中，我们介绍了 Ar-Spider 1，即第一个阿拉伯跨域文本到 SQL 数据集。为了解决语言本质相关的问题，我们采用了两个基线模型 LGESQL 和 S2SQL，并提出了上下文相似性关系（CSR）方法，该方法显著提高了阿拉伯文本到 SQL 的整体性能。

    Feb, 2024

  • ChatGPT 零 - shot 文本到 SQL 能力的综合评估

    本文介绍了 ChatGPT 在 Text-to-SQL 能力上的综合分析，使用了 12 个基准数据集进行实验，结果表明 ChatGPT 在 Text-to-SQL 上有着强大的能力，在零样本情况下甚至超过了 SOTA 模型，在实际应用中具有潜在价值，并公开了生成的数据集。

    Mar, 2023