本文介绍了seq2attn，这是一种新的架构，旨在利用注意力来发现输入中的组合模式。这篇论文证明了seq2attn可以成功地推广应用于挑战神经网络组合技能的两项任务。

Jun, 2019

在语义分析任务中，掩码语言模型（MLM）预训练可以有效提高效果，相较于其他促进组合泛化的方法和架构，具有更好的性能，并在 CFQ 组合泛化基准测试中建立了新的最新记录。

Jul, 2020

在语义解析中，提出了一个新的解码框架，该框架保留了序列到序列模型的表现力和通用性，同时具有类似词典的对齐和解开信息处理，能够提高模型的组合泛化能力。

Oct, 2020

通过使用中间表示法，这篇研究提出了一种改善基于预训练的seq2seq模型的组合泛化能力的有效方法，该方法在CFQ数据集上表现出新的最优水平（精度提高14.8个百分点），在三个text-to-SQL数据集的示例分割上精度提高了15.0到19.4个百分点。

Apr, 2021

本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

Jun, 2021

本文提出LeAR模型作为神经模型的一种解决方案，为语义解析任务中的组成归纳学习代数重组提供了一种方法。

Jul, 2021

本文探讨了使用不同的自监督学习算法所学到的表示在复合泛化上的能力，研究发现，与其它算法相比，使用EL模型学习到的表示具有更强的复合泛化能力，但在训练简单模型并使用少量标签进行泛化时直接使用瓶颈表示会导致泛化性能较差，同时现有的度量复合性的指标与本文的评价方法不相关

Oct, 2022

通过对Disentangled sequence-to-sequence模型进行改进，我们引入了两个关键的修改，以更好地处理语言中的组合概括，从而在现有任务和数据集上实现更好的泛化性能，并创造了一个新的机器翻译基准，并展示了这种方法比人工设计呈现更好的真实通用性。

Dec, 2022

该研究提出了 COMPSITION 模型，它是 Seq2Seq 模型的一个扩展，旨在通过引入一个复合层来适当地学习不同编码器层的表示，以生成传递到不同解码器层的不同键和值，从而在两个现实基准上取得了有竞争力的甚至是最先进的结果。

May, 2023

通过引入fuse-attention模块，提出了一种扩展的序列到序列模型（ extsc{FuSion}），以适当地将上一层的信息融合回编码和解码过程中，有效地解决了表示缠结问题，并在两个实际基准测试上取得了竞争性甚至最先进的结果，从而验证了我们的提议的有效性。

Jul, 2023