该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
本文对最近在分析、方法和评估方案上的进展进行了综述,为从业者和研究人员在这一领域提供了一个起点。
Apr, 2024
通过翻译 MCWQ 数据集,我们证明不同语言具有不同的组合泛化能力,同时多语种模型仍然难以实现跨语言组成泛化。
Jun, 2023
本文研究了复合推理在分类任务中的应用,并提出结构提示(如句法树和实体链接)对于解决神经模型复合推理问题具有较好的效果。
Jun, 2021
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
本论文研究了现代神经机器翻译模型的组成泛化问题,构建了包含 216k 个干净和一致的语句对的基准数据集 CoGnition,并通过复合翻译误差率定量分析了各种因素的影响,然后展示了神经机器翻译模型在组成泛化方面的表现欠佳,尽管在传统指标下表现出色。
May, 2021
通过实验证明,Seq2Seq 模型在英语句法分析、语义分析和文本之间的转换任务中,普遍存在推广的普适性较低的问题,但是在建立了语言知识的神经符号模型中,这些限制往往可以克服。
Oct, 2022
本研究探索使用双重表示来编码组合性,一种生成注意力图,另一种将输入转化为数字的映射。我们改进了每种表示中的熵来提高泛化能力。在五项自然语言处理任务中,实验结果显示本方法对于传统方法有显著的改进,协助实现人类级别的组合语言学习。
Oct, 2019
探讨如何开发一种语义解析方法,既可应对自然语言变异,又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割,证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5,这是一个混合模型,结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法,在标准评估上也具有竞争力。
Oct, 2020
在语义解析中,提出了一个新的解码框架,该框架保留了序列到序列模型的表现力和通用性,同时具有类似词典的对齐和解开信息处理,能够提高模型的组合泛化能力。