Dec, 2023

一种先进的文本到结构化查询语言模型的领域适应：经验教训与挑战

PDF
TL;DR在 Text-to-SQL 任务中，通过领域适应性实现将 Text-to-SQL 系统应用于真实用例仍然是一个艰巨的挑战。通过对基础模型在 Spider 数据集之外的查询结构进行 fine-tuning，并采用基于规则的方法解决输入问题中的值的歧义性，我们展示了 T5 和 Picard 在何种情况下能够提供良好性能，分享了所学到的经验，并讨论了当前领域适应性的挑战。
发现论文，激发创造
  • 探索跨领域文本到 SQL 泛化的未被充分利用的限制

    在研究神经网络将文本描述翻译成 SQL 查询方面，在零射跨域设置下取得了显著进展，但是现有的文本到 SQL 模型在面对训练数据中很少出现的领域知识时不具有普适性。本文介绍了一种人工筛选的数据集 Spider-DK，用于研究文本到 SQL 模型在需要应用很少出现的领域知识时的预测表现。在 Spider-DK 中，我们通过添加反映现实世界问题的领域知识来修改一些 Spider 的样本，并证明当样本需要这种领域知识时，预测准确率显著下降，即使该领域知识出现在训练集中，模型对相关训练样本的预测仍然正确。

    Sep, 2021

  • DocuT5: 带有表格文档的 Seq2seq SQL 生成

    通过注入外部 `文档` 中的知识来提高领域概括能力，我们提出了 DocuT5，该方法捕获了外键的表结构上下文和表与列的领域知识。在 Spider 数据集上的实验结果表明，DocuT5 的两种知识类型均优于具有受限解码的最先进的 T5，而领域知识在 Spider-DK 和 Spider-SYN 数据集上的表现不逊于最先进的方法。

    Nov, 2022

  • SQL-PaLM: 文本到 SQL 的改良大型语言模型自适应

    本研究提出了一种基于大型语言模型的 Text-to-SQL 模型 SQL-PaLM，该模型在几种不同的任务测试中都取得了最优结果，并展示了其应用于现实场景的鲁棒性和智能能力。

    May, 2023

  • 通过增加自然语言变化提升语义解析的泛化能力

    使用数据增强来增强文本到 SQL 解析器对自然语言变化的鲁棒性，通过大型语言模型生成更真实和多样化的问题，从而在评估集合中实现显著的改进。

    Feb, 2024

  • Dr.Spider：一种针对文本到 SQL 稳健性的诊断评估基准

    本文提出了一个跨领域文本到 SQL 基准（Spider）的综合健壮性评测来诊断模型的鲁棒性，并设计了 17 个数据库、自然语言问题和 SQL 查询的扰动来从不同角度衡量其鲁棒性。实验结果表明，即使是最鲁棒的模型在最具挑战性的扰动上也会出现 50.7% 的性能下降，分析了文本到 SQL 模型设计并提出了改进鲁棒性的见解。

    Jan, 2023

  • RAT-SQL：基于关系感知的文本 - SQL 解析器的模式编码和链接

    该研究使用基于关系感知自注意机制的统一框架，解决将自然语言问题转换为 SQL 查询中出现的通用性问题，包括编码数据库关系，建立数据库列和查询的链接，以及特征表示。在 Spider 数据集上，该框架将的精确匹配准确度提高到 57.2％，优于其最好的对手 8.7％的绝对改进，并在 BERT 的支持下，实现了 65.6％的性能，成为了新的最佳表现，同时也在模型对数据库链接和对齐的理解方面得到了定性改善。

    Nov, 2019

  • KaggleDBQA：文本 - SQL 解析器的真实性评估

    本文探讨了实现自然语言查询现实关系数据库的挑战，提出了一个新的跨领域评估数据集 KaggleDBQA，并通过引入数据库文档等隐含领域知识的方法，将现有模型的准确性提高了 13.2%。

    Jun, 2021

  • 基于大型语言模型的文本到 SQL、文本到 Python 和文本到函数的重新增强 —— 在交通领域中的真实应用

    我们提出了一种更适应性更强的提示方法，通过查询重写和 SQL 增强来提高 Text-to-SQL 模型的性能，并在商业数据集上实验证明了显著的性能改善。

    Oct, 2023

  • Graphix-T5: 将预训练的 Transformer 与图感知层结合，用于文本到 SQL 解析

    本研究提出了一种混合模型 GRAPHIX-T5，使用特定的图形感知层来增强预训练的文本到文本 Transformer 模型 T5 在 text-to-SQL 解析任务上的性能，在四个 SQL 基准测试中均获得更好的结果，尤其是在 EM 和 EX 方面快速准确地超越了 T5-3B。

    Jan, 2023

  • 内容增强的基于 BERT 的文本到 SQL 生成

    本文提出了一种简单的方法，利用表格内容为基于 BERT 的模型解决文本到 SQL 的问题。通过观察表格内容与问题中的一些单词匹配以及表格标题也与问题中的一些单词匹配，我们为深度模型编码了两个额外的特征向量。我们在 WikiSQL 数据集上进行了测试，并在逻辑形式和执行准确性方面比 BERT 基线提高了 3.7％，成为业内领先者。

    Oct, 2019