该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
我们利用新的参数化和置换预测方法,提出了一种将语义解析理解为两步处理,并通过规则化线性规划求解器来预测排列,进而取得了比预训练 seq2seq 模型和之前的工作更好的性能,实现了在深度递归上的高准确度的泛化。
May, 2023
探讨如何开发一种语义解析方法,既可应对自然语言变异,又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割,证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5,这是一个混合模型,结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法,在标准评估上也具有竞争力。
Oct, 2020
通过实验证明,Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中,普遍存在推广的普适性较低的问题,但是在建立了语言知识的神经符号模型中,这些限制往往可以克服。
Oct, 2022
本文提出了一种基于源输入逐步自适应重编码的 sequence-to-sequence 模型扩展,以此来鼓励解开编码时存在的混淆状态。最终实验结果表明,这个扩展能够提供更好的解释性和推广性。
Oct, 2021
通过对 Disentangled sequence-to-sequence 模型进行改进,我们引入了两个关键的修改,以更好地处理语言中的组合概括,从而在现有任务和数据集上实现更好的泛化性能,并创造了一个新的机器翻译基准,并展示了这种方法比人工设计呈现更好的真实通用性。
Dec, 2022
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
本文探究在语义解析中复合泛化的问题,研究了多种模型并提出多种扩展,其中包括使用上下文表示、指导解码器、训练解码器等等,结果发现这些因素有助于促进复合泛化。
该研究提出了 COMPSITION 模型,它是 Seq2Seq 模型的一个扩展,旨在通过引入一个复合层来适当地学习不同编码器层的表示,以生成传递到不同解码器层的不同键和值,从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。