ACLMay, 2023

基于两种简单的语义边界技术，提高基于语言模型的文本到 SQL 语义分析的泛化能力

PDF
TL;DR本研究着重于解决语义分析中的组成和领域通用性问题，尝试改进基于预训练语言模型的语义解析器的泛化能力，并通过两种简单的方法，在标记化处理等方面达到了实验效果的显著提升。
semantic parsingcompositional generalizationdomain generalizationpretrained language modelstoken processing
发现论文，激发创造
  • 生成增强预训练用于语义解析的上下文表示学习

    通过 Generation-Augmented Pre-training 来解决现有通用语言模型在文本与 SQL 语义解析器中存在的问题，并在 SPIDER 和 CRITERIA-TO-SQL 基准测试中获得了新的最先进的结果。

    Dec, 2020

  • 大型语言模型中面向组合通用语义解析的研究综述

    本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

    Apr, 2024

  • 通过组件对齐测量和提高文本到 SQL 中的组合通用性

    本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS，然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG，用于测试模型的组成泛化能力。实验表明，现有模型在 Spider-CG 上表现出显著的性能下降，我们改进了一些最先进的模型在 Spider-SS 上进行训练，提高了泛化性能。

    May, 2022

  • 探索上下文依赖文本到 SQL 解析中的组合泛化

    该文研究了文本到 SQL 的组成归纳泛化问题，通过提出新的标准数据集 CoSQL-CG 和 SParC-CG，提出了一种基于 p-align 的改进方法，并证明了其有效性。

    May, 2023

  • 语义标记实现组合泛化

    在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

    Oct, 2020

  • 语义解析中的组合泛化：预训练与专用体系结构

    在语义分析任务中，掩码语言模型（MLM）预训练可以有效提高效果，相较于其他促进组合泛化的方法和架构，具有更好的性能，并在 CFQ 组合泛化基准测试中建立了新的最新记录。

    Jul, 2020

  • 大型语言模型的组合语义解析

    通过逐步提示的基于句法分析的分解，本研究发现了更多语义分析任务中的挑战。这一最优方法使我们在 CFQ 上取得了最新的技术成果，同时只需要传统方法所需训练数据的 1％。由于我们方法的普适性，我们期望类似的方法将在知识密集型应用中取得新的成果。

    Sep, 2022

  • 基于语言模型的组合概括

    通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

    Jun, 2024

  • 通用且鲁棒的文本到 SQL 解析

    研究 text-to-SQL parsing 在三个层面的泛化性和抗扰性，提出 TKK framework 用于学习 text-to-SQL parsing，该框架在多个测试数据集上表现出了显著的效果。

    Oct, 2022

  • 通过增加自然语言变化提升语义解析的泛化能力

    使用数据增强来增强文本到 SQL 解析器对自然语言变化的鲁棒性，通过大型语言模型生成更真实和多样化的问题，从而在评估集合中实现显著的改进。

    Feb, 2024