AAAIJan, 2023

Graphix-T5: 将预训练的 Transformer 与图感知层结合，用于文本到 SQL 解析

PDF
TL;DR本研究提出了一种混合模型 GRAPHIX-T5，使用特定的图形感知层来增强预训练的文本到文本 Transformer 模型 T5 在 text-to-SQL 解析任务上的性能，在四个 SQL 基准测试中均获得更好的结果，尤其是在 EM 和 EX 方面快速准确地超越了 T5-3B。
text-to-sql parsingdomain generalizationt5graphix-t5sql benchmarks
发现论文，激发创造
  • ShadowGNN: 面向文本到 SQL 解析器的图投影神经网络

    该研究提出了一种新的基于 ShadowGNN 的文本到 SQL 转化模型，通过抽象和语义级别处理数据库模式以提高模型对不常见和没有看到过的模式的泛化能力，并在 Text-to-SQL 基准测试中表现优异。

    Apr, 2021

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 数据到文本任务的文本到文本预训练

    本研究探讨了数据生成文本任务中的预训练和微调策略，实验表明，以 T5 为代表的文本预训练方法使得简单的端到端 Transformer 模型在数据生成文本方面的性能优于传统的神经网络体系结构以及其他预训练技术，如 BERT 和 GPT-2。T5 预训练技术在域外测试集上表现出更好的泛化能力，此研究希望成为未来研究的有益基础，随着转移学习在数据生成文本任务中的广泛应用。

    May, 2020

  • 通用且鲁棒的文本到 SQL 解析

    研究 text-to-SQL parsing 在三个层面的泛化性和抗扰性，提出 TKK framework 用于学习 text-to-SQL parsing，该框架在多个测试数据集上表现出了显著的效果。

    Oct, 2022

  • 文本转 SQL 解析调查：概念，方法和未来方向

    该研究综述了文本到结构化查询语言解析的深度学习方法，介绍了单轮和多轮对话的文本到 SQL 解析语料库，阐明了预训练语言模型和现有方法，探讨了面临的挑战和未来发展方向。

    Aug, 2022

  • 一个多任务半监督框架用于 Text2Graph 和 Graph2Text

    该研究提出了一种基于 T5 架构的多任务半监督环境下联合学习文本图谱提取和图谱生成的解决方案，此方法在 WebNLG 数据集中表现优于无监督最新成果，且相较于有监督模型更具一致性。

    Feb, 2022

  • SQLformer：面向文本到 SQL 转换的深度自回归查询图生成

    通过引入 SQLformer，一种专门设计用于执行文本到 SQL 转换任务的新型 Transformer 架构，我们的模型能够通过以自然语言问题与相应的 SQL 查询的对齐解决，生成以广度优先搜索规范顺序表示的 SQL 查询 ASTs 的图，并在多个实验中展示出其在具有挑战性的文本到 SQL Spider 基准测试中的最先进性能。

    Oct, 2023

  • 内容增强的基于 BERT 的文本到 SQL 生成

    本文提出了一种简单的方法，利用表格内容为基于 BERT 的模型解决文本到 SQL 的问题。通过观察表格内容与问题中的一些单词匹配以及表格标题也与问题中的一些单词匹配，我们为深度模型编码了两个额外的特征向量。我们在 WikiSQL 数据集上进行了测试，并在逻辑形式和执行准确性方面比 BERT 基线提高了 3.7％，成为业内领先者。

    Oct, 2019

  • 一种先进的文本到结构化查询语言模型的领域适应：经验教训与挑战

    在 Text-to-SQL 任务中，通过领域适应性实现将 Text-to-SQL 系统应用于真实用例仍然是一个艰巨的挑战。通过对基础模型在 Spider 数据集之外的查询结构进行 fine-tuning，并采用基于规则的方法解决输入问题中的值的歧义性，我们展示了 T5 和 Picard 在何种情况下能够提供良好性能，分享了所学到的经验，并讨论了当前领域适应性的挑战。

    Dec, 2023

  • 面向复杂文本到 SQL 的模式感知多任务学习

    传统的文本到 SQL 解析器在合成涉及多个表格或列的复杂 SQL 查询方面表现不佳，为了解决这个问题，我们提出了一种面向模式的多任务学习框架（名为 MTSQL）来处理复杂的 SQL 查询。通过设计一个模式链接鉴别器模块来区分有效的问题 - 模式关联，明确指示编码器通过特殊的链接关系来增强对齐质量。在解码器方面，我们定义了 6 种关系类型来描述表格和列之间的连接，并引入以运算符为中心的三元抽取器来识别那些与预定义关系相关的模式项。此外，我们通过预测的三元组建立了一组语法约束规则集，用于在 SQL 生成过程中过滤适当的 SQL 运算符和模式项。在跨领域的具有挑战性的文本到 SQL 基准测试 Spider 上，实验结果表明 MTSQL 比基线方法更有效，特别是在极端困难的场景中。此外，进一步的分析验证了我们的方法在处理复杂 SQL 查询方面的有希望的改进。

    Mar, 2024