通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

Jun, 2023

本研究提出了一种基于分子分散度最大化和原子分散度最小化的方法去构建实际应用的语言理解数据集，并通过分析三个多层次深度学习架构的表现来量化比较这种方法与其他构建复合语言理解测评基准的方法，研究表明现有的机器学习方法在复合语言理解上处于局限性表现，且都表现出惊人强的负相关性，研究结果可应用于构建和优化大规模自然语言处理应用系统。

Dec, 2019

本论文研究了现代神经机器翻译模型的组成泛化问题，构建了包含 216k 个干净和一致的语句对的基准数据集 CoGnition，并通过复合翻译误差率定量分析了各种因素的影响，然后展示了神经机器翻译模型在组成泛化方面的表现欠佳，尽管在传统指标下表现出色。

May, 2021

近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组合分割策略进行划分，总计有 18 种组合泛化划分。我们的结果表明：i) 尽管所有数据集都设计用于评估组合泛化能力，但它们对建模方法的排名是不同的；ii) 由人类生成的数据集彼此之间更加一致，而与合成数据集之间的一致性较差；iii) 通常来说，数据集是否来自相同源头对于得到的模型排名的预测性更强，而是否保持相同的组合性解释则次之；iv) 数据中使用的词汇项目可以极大地影响结论。总的来说，我们的结果表明，在评估流行的评估数据集是否测量其意图时还有很多工作要做，建立更严格的评估标准可能有助于该领域的发展。

Oct, 2023

本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

Jun, 2024

本文介绍了如何通过分句和 SQL 子句的注释构造一个新的数据集 Spider-SS，然后将 sub-sentences 不同组合构成一个新的数据集 Spider-CG，用于测试模型的组成泛化能力。实验表明，现有模型在 Spider-CG 上表现出显著的性能下降，我们改进了一些最先进的模型在 Spider-SS 上进行训练，提高了泛化性能。

May, 2022

本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

Aug, 2021

该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

Jan, 2022

CompMCTG 是一个综合多方面标记数据集和三维评估协议的评估基准，用于评估 MCTG 方法的组合泛化能力，而 Meta-MCTG 是一种训练框架，通过在训练阶段模拟组合泛化场景，使模型能够学习如何泛化，并在 94.4% 的情况下在组合测试性能方面明显改善（最多提高 3.64%）。

Apr, 2024

本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

Aug, 2019