Oct, 2023

ASTormer: 文本到 SQL 的 AST 结构感知 Transformer 解码器

PDF
TL;DR通过 ASTormer 结构化解码器，本研究旨在将用户语句和相应的数据库架构转化为可执行的 SQL 程序，以确保输出 SQL 的格式正确性和高效性，相比竞争性基准，在五个 Text-to-SQL 基准测试中显示了其有效性和效率。
发现论文，激发创造
  • SQLformer：面向文本到 SQL 转换的深度自回归查询图生成

    通过引入 SQLformer，一种专门设计用于执行文本到 SQL 转换任务的新型 Transformer 架构，我们的模型能够通过以自然语言问题与相应的 SQL 查询的对齐解决，生成以广度优先搜索规范顺序表示的 SQL 查询 ASTs 的图，并在多个实验中展示出其在具有挑战性的文本到 SQL Spider 基准测试中的最先进性能。

    Oct, 2023

  • StructCoder: 面向结构的代码生成 Transformer

    本研究利用编码器 - 解码器 Transformer 模型进行编码生成，使用诸如抽象语法树路径预测和数据流预测等辅助任务，结构感知地提高了生成代码质量，实现了代码翻译和文本到代码生成任务的最新性能状态。

    Jun, 2022

  • AST-T5：用于代码生成和理解的结构感知预训练

    使用 AST（抽象语法树）的 AST-T5 模型在代码生成、转译和理解任务中表现出色，保留了代码结构，对重建各种代码结构具有强大的能力，并在各种代码相关任务中优于类似尺寸的其他大型语言模型。

    Jan, 2024

  • 使用图神经网络表示模式结构，用于文本到 SQL 解析

    该研究关注语言解析到 SQL 的过程，并提出了一种使用图神经网络对数据库模式进行编码的方法，在 Spider 数据集上得到了较高的解析准确率。

    May, 2019

  • 基于语法的神经网络文本到 SQL 生成

    本文提出了一种处理 neural text-to-SQL models 中编写语法的复杂性的技术，从而生成 schema-dependent grammar，对 ATIS 和 Spider 两个挑战性的 text-to-SQL 数据集进行分析，显示可以减少 14-18% 的相对误差。

    May, 2019

  • 基于结构的 Transformer 的代码摘要

    本研究利用结构诱导 Transformer 模型，提高源代码自动摘要生成的性能和效果。

    Dec, 2020

  • 一个编码器 - 解码器框架，将自然语言翻译为数据库查询

    本研究考虑将自然语言转换成 SQL，用于关系数据库的数据检索。我们提出了一种新的编码 - 解码框架，包括新的语义特征和语法感知状态等新方法。实证评估结果表明，我们的方法在真实世界的数据库和查询上明显优于现有技术。

    Nov, 2017

  • TableFormer：表格文本编码的鲁棒 Transformer 建模

    提出了一种结构完整和鲁棒性强的表格文本编码架构 TableFormer，通过可学习的注意力偏置完全融合了表格结构偏差，进一步强化了对表格的理解能力，在 SQA、WTQ 和 TabFact 等表理解数据集方面优于强基线，尤其在面对具有答案不变的行列顺序扰动时，相对于最佳基线的提升达到 6％。

    Mar, 2022

  • Tree-Transformer: 一种基于 Transformer 的树形数据纠错方法

    本文提出 Tree-Transformer 神经网络架构，可用于树状结构数据的矫正任务，并在源代码和自然语言两个领域中分别取得了 25% 和 10% 的改进。

    Aug, 2019

  • 回归任务中树状神经网络的行为分析

    本文通过解析抽象语法树（AST）推测了基于树状神经网络模型的行为，并提出了一种双重变换器方法，通过源代码标记和 AST 表示进行交叉注意力机制的操作，进一步探索了图神经网络（GNN）对于基于树状问题的适应性，实证评估发现，我们的双重变换器模型在各种数据集上表现出色，优于其他基于树状神经网络和基于 GNN 的模型。

    Jun, 2024