该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力,在结构泛化任务中,基于序列的模型表现接近零,而组成模型在结构泛化任务中表现接近完美,这表明结构泛化是组成泛化的关键度量,需要能够处理复杂结构的模型。
Feb, 2022
研究表明 Seq2Seq 模型在一些特殊结构外的数据上表现可能不理想,而本文探讨了在一个简单的、明确定义的结构转换任务中,该模型实现泛化的能力如何取决于其随机种子的选择且其泛化结构的能力高度敏感。
May, 2018
在语义解析中,提出了一个新的解码框架,该框架保留了序列到序列模型的表现力和通用性,同时具有类似词典的对齐和解开信息处理,能够提高模型的组合泛化能力。
Oct, 2020
本文提出一种基于神经机器翻译的新模型 Syntactic Attention,采用分离语法与语义学习的方式训练,拥有捕捉人类语言组成性结构的能力,相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。
Apr, 2019
本研究探讨了机器翻译和语义解析中的复合通用性问题,并发现神经机器翻译模型在句法结构的通用性上存在困难,而语义解析和机器翻译具有不同的性能趋势。
Jun, 2024
本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题,重点讨论了使用一次性原语概括来增强这种能力的方法,发现通过修改训练数据的方式,能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现,并且对该现象进行了详细的实证分析,指出了模型的概括性能对于训练数据的特征非常敏感,因而应该在设计这样的基准测试时仔细考虑训练数据的选择。
Mar, 2022
探讨如何开发一种语义解析方法,既可应对自然语言变异,又能在组合推理方面具有强大的针对性。我们在非合成数据集上提出了新的训练和测试集分割,证明现有方法在广泛的测试中表现不佳。并提出了 NQG-T5,这是一个混合模型,结合了高精度的基于语法的方法和预先训练的序列到序列模型。它在非合成数据上的多个组合泛化挑战中优于现有方法,在标准评估上也具有竞争力。
本文研究了复合推理在分类任务中的应用,并提出结构提示(如句法树和实体链接)对于解决神经模型复合推理问题具有较好的效果。
Jun, 2021
通过研究符号数学积分问题,本文发现序列模型在推广、组合性、超出分布方面的表现不佳,需要更多超出测试集的评估。
Sep, 2021
本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络,在此方法中,模型通过一系列的 seq2seq 问题进行训练,从而获得解决新 seq2seq 问题所需的组合技能,进而解决了组合学习的一些问题。
Jun, 2019