ACLMay, 2022

通过组件对齐测量和提高文本到 SQL 中的组合通用性

PDF
TL;DR本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS，然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG，用于测试模型的组成泛化能力。实验表明，现有模型在 Spider-CG 上表现出显著的性能下降，我们改进了一些最先进的模型在 Spider-SS 上进行训练，提高了泛化性能。
发现论文，激发创造
  • 探索上下文依赖文本到 SQL 解析中的组合泛化

    该文研究了文本到 SQL 的组成归纳泛化问题，通过提出新的标准数据集 CoSQL-CG 和 SParC-CG，提出了一种基于 p-align 的改进方法，并证明了其有效性。

    May, 2023

  • 数据到文本生成的组合推广

    数据到文本生成涉及将结构化数据转化为连贯的文本描述，本论文提出了一种解决复合概括问题的新模型，通过将谓词聚类成组，在生成文本时逐句依赖于一组谓词，显著优于基线模型 T5 的各种评估指标，尤其在维护对输入的忠实度指标上提升了 31%。

    Dec, 2023

  • 通过增加自然语言变化提升语义解析的泛化能力

    使用数据增强来增强文本到 SQL 解析器对自然语言变化的鲁棒性，通过大型语言模型生成更真实和多样化的问题，从而在评估集合中实现显著的改进。

    Feb, 2024

  • 通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

    本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

    Apr, 2019

  • 神经机器翻译中的结构泛化评估

    本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

    Jun, 2024

  • 通用且鲁棒的文本到 SQL 解析

    研究 text-to-SQL parsing 在三个层面的泛化性和抗扰性，提出 TKK framework 用于学习 text-to-SQL parsing，该框架在多个测试数据集上表现出了显著的效果。

    Oct, 2022

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • DIN-SQL：基于上下文分解的自我修正文本到 SQL 学习

    研究了如何将复杂的文本到 SQL 任务分解为较小的子任务，从而显著提高大型语言模型（LLMs）在推理过程中的性能，证明了将 SQL 查询分解为子问题并将这些子问题的解决方案提供给 LLMs 可以显著提高性能。在三个 LLMs 上的实验表明，此方法始终将性能提高约 10％，推动 LLMs 的准确性接近最先进水平，甚至超过用于持有 Spider 数据集的大型精调模型。

    Apr, 2023

  • 使用基于分布的组合性评估方法评估机器翻译的组合推广能力

    开发一个基于分布的合成性评估框架，利用 Europarl 翻译语料库创建训练集和测试集，测试神经机器翻译系统在未训练依赖关系上的能力。

    Nov, 2023

  • 学习替代语块以提高组合泛化能力

    提出新的跨度替换策略（SpanSub）和基于嵌入式的学习框架（L2S2），分别解决了神经序列模型中的组合泛化问题和不均等难度分布下的挑战性组合问题，成功提高复杂数据集上的性能。

    Jun, 2023