组合泛化和自然语言变化：语义解析方法可以同时处理吗？

ACLOct, 2020

组合泛化和自然语言变化：语义解析方法可以同时处理吗？

Compositional Generalization and Natural Language Variation: Can a Semantic Parsing Approach Handle Both?

Peter Shaw, Ming-Wei Chang, Panupong Pasupat, Kristina Toutanova

TL;DR探讨如何开发一种语义解析方法，既可应对自然语言变异，又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割，证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5，这是一个混合模型，结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法，在标准评估上也具有竞争力。

Abstract

sequence-to-sequence models excel at handling natural language variation, but have been shown to struggle with out-of-distribution compositional generalization. This has motivated new specialized architectures wi

sequence-to-sequence models compositional generalization semantic parsing nqg-t5 natural language variation

发现论文，激发创造

语义标记实现组合泛化

在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

Oct, 2020

组合推理需要组合分析器

该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

Feb, 2022

通过分离语法和语义，在深度序列到序列模型中实现对组合概括的学习

本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

Apr, 2019

神经机器翻译中的结构泛化评估

本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

Jun, 2024

序列到序列模型对结构泛化的困难

通过实验证明，Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中，普遍存在推广的普适性较低的问题，但是在建立了语言知识的神经符号模型中，这些限制往往可以克服。

Oct, 2022

大型语言模型中面向组合通用语义解析的研究综述

本文对最近在分析、方法和评估方案上的进展进行了综述，为从业者和研究人员在这一领域提供了一个起点。

Apr, 2024

基于语言模型的组合概括

通过扩展语义解析的组成概括工作，我们为生成与知识图谱配对的自然语言问题开发了一种方法，以在不受限于语言模型权重隐式编码的信息的同时，对这些模型从知识图谱中学习和概括程度进行控制性评估，我们发现现有的将语言模型与知识图谱组合的方法在未见过长度序列和新组合的基础组件方面存在泛化问题，因此，我们希望我们的工作和发布的数据集能够促进未来研究并探索如何更好地将语言模型与结构化知识表示相结合的方法。

Jun, 2024

神经序列模型的组合泛化能力再探讨

本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

Mar, 2022

语义解析中的组合泛化：预训练与专用体系结构

在语义分析任务中，掩码语言模型（MLM）预训练可以有效提高效果，相较于其他促进组合泛化的方法和架构，具有更好的性能，并在 CFQ 组合泛化基准测试中建立了新的最新记录。

Jul, 2020

使用多重集标记和潜在置换实现无需树形结构的组合泛化

我们利用新的参数化和置换预测方法，提出了一种将语义解析理解为两步处理，并通过规则化线性规划求解器来预测排列，进而取得了比预训练 seq2seq 模型和之前的工作更好的性能，实现了在深度递归上的高准确度的泛化。

May, 2023