本文针对基础的 seq-to-seq 模型缺乏组合概括能力的问题，重点讨论了使用一次性原语概括来增强这种能力的方法，发现通过修改训练数据的方式，能够使标准的 seq-to-seq 模型实现接近完美的概括能力表现，并且对该现象进行了详细的实证分析，指出了模型的概括性能对于训练数据的特征非常敏感，因而应该在设计这样的基准测试时仔细考虑训练数据的选择。

Mar, 2022

本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

Aug, 2019

该论文介绍了 SCAN 领域，并使用序列到序列的方法对各种复发神经网络进行零样本泛化能力的测试。研究发现，当训练和测试指令之间的差异很小时，RNN 可以成功进行零样本泛化，但是当泛化需要系统的组合能力时，RNN 则失败了。研究结论显示，缺乏系统性可能部分原因导致神经网络需要大量的训练数据。

Oct, 2017

该研究系统比较了序列到序列模型和基于组合原则的模型在 COGS 语料库上处理组合泛化能力的能力，在结构泛化任务中，基于序列的模型表现接近零，而组成模型在结构泛化任务中表现接近完美，这表明结构泛化是组成泛化的关键度量，需要能够处理复杂结构的模型。

Feb, 2022

通过对 Disentangled sequence-to-sequence 模型进行改进，我们引入了两个关键的修改，以更好地处理语言中的组合概括，从而在现有任务和数据集上实现更好的泛化性能，并创造了一个新的机器翻译基准，并展示了这种方法比人工设计呈现更好的真实通用性。

Dec, 2022

提出通过遵循组成性原则来训练神经网络解决语言理解的挑战，并通用地应用于多种领域，进而提高机器人的安全性和公平性，所提出的网络能够显着提高自然语言理解能力，且在实现先前工作所不能实现的泛化能力的同时还提供了可解释性的层面。

Aug, 2020

通过基于神经网络和具有符号功能的可变插槽进行变通泛化的记忆增强神经模型，该模型由两个协同神经模块组成，一个是 Composer，另一个是 Solver，通过分层强化学习算法进行端到端训练，实现变通组合能力，其在 well-known benchmark SCAN 上的实验表明，我们的模型具有极强的组合泛化能力，以 100％精度解决了之前工作中面临的所有挑战。

Jun, 2020

本文提出一种基于神经机器翻译的新模型 Syntactic Attention，采用分离语法与语义学习的方式训练，拥有捕捉人类语言组成性结构的能力，相较于标准深度学习方法在具有组成性泛化任务的数据集 SCAN 上表现显著优异。

Apr, 2019

本文介绍了如何通过元 seq2seq 学习策略来改进记忆增强神经网络，在此方法中，模型通过一系列的 seq2seq 问题进行训练，从而获得解决新 seq2seq 问题所需的组合技能，进而解决了组合学习的一些问题。

Jun, 2019

本文探讨了循环神经网络（RNN）的组合泛化能力，并在查找表合成域中测试了标准 RNN 的组合行为，发现少量 RNN 仍能达到部分组合解决方案。研究表明，通过梯度下降和直接支持更多组成方法的进化策略的结合，可能足以引导标准 RNN 向组合解决方案发展。

Feb, 2018