通过增加自然语言变化提升语义解析的泛化能力
该论文通过设计一个简单而有效的数据增强框架,提出了一种层次化的 SQL 转自然语言问题生成模型,以及一种简单的采样策略来显著提高训练效率。在三个跨领域数据集上的实验表明,其方法可以一贯地改善表现,并且层次化生成组件是改善的关键。
Mar, 2021
本文通过在最大手工标注语义解析数据集 WikiSQL 上展示问题生成是一种有效的半监督学习方法,使我们能够用百分之三十的监督训练数据来学习最先进的神经网络语义解析器,并发现语义解析器的准确性和训练数据量之间存在对数关系。
Aug, 2018
本文介绍了 MultiSpider 数据集与 SAVe 框架,MultiSpider 数据集覆盖 7 种语言,且文中进一步提出了各种语言下,text-to-SQL 语义解析所面临的词汇和结构上的挑战,导致非英语言的解析准确率下降了 6.1%,而 SAVe 框架则通过对 Schema 进行增强从而有助于提升解析的性能。
Dec, 2022
研究 text-to-SQL parsing 在三个层面的泛化性和抗扰性,提出 TKK framework 用于学习 text-to-SQL parsing,该框架在多个测试数据集上表现出了显著的效果。
Oct, 2022
提出了一种利用自然语言反馈进行语义解析更正的方法,通过将任务的语义和语法困难分离,只需一轮自然语言反馈即可将文本到 SQL 解析器的准确性提高 26%;同时表明 T5-base 模型能在无需训练的情况下,纠正 T5-large 模型的错误。
May, 2023
本文研究了文本到 SQL 模型对近义词替换的鲁棒性,并引入了一个名为 Spider-Syn 的基于现实问题重新矫正版的数据集,分为两类鲁棒性改善方法:一类依靠修改模型输入来利用附加同义词注释,另一类基于攻击性训练。我们证明这两类方法都显著优于没有防御的对应基线模型,且第一类方法更有效。
Jun, 2021
本文提出了一个跨领域文本到 SQL 基准(Spider)的综合健壮性评测来诊断模型的鲁棒性,并设计了 17 个数据库、自然语言问题和 SQL 查询的扰动来从不同角度衡量其鲁棒性。实验结果表明,即使是最鲁棒的模型在最具挑战性的扰动上也会出现 50.7% 的性能下降,分析了文本到 SQL 模型设计并提出了改进鲁棒性的见解。
Jan, 2023
本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS,然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG,用于测试模型的组成泛化能力。实验表明,现有模型在 Spider-CG 上表现出显著的性能下降,我们改进了一些最先进的模型在 Spider-SS 上进行训练,提高了泛化性能。
May, 2022
通过 Generation-Augmented Pre-training 来解决现有通用语言模型在文本与 SQL 语义解析器中存在的问题,并在 SPIDER 和 CRITERIA-TO-SQL 基准测试中获得了新的最先进的结果。
Dec, 2020
在研究神经网络将文本描述翻译成 SQL 查询方面,在零射跨域设置下取得了显著进展,但是现有的文本到 SQL 模型在面对训练数据中很少出现的领域知识时不具有普适性。本文介绍了一种人工筛选的数据集 Spider-DK,用于研究文本到 SQL 模型在需要应用很少出现的领域知识时的预测表现。在 Spider-DK 中,我们通过添加反映现实世界问题的领域知识来修改一些 Spider 的样本,并证明当样本需要这种领域知识时,预测准确率显著下降,即使该领域知识出现在训练集中,模型对相关训练样本的预测仍然正确。
Sep, 2021