EMNLPNov, 2023

更好的组合泛化数据因子

PDF
TL;DR通过对不同数据因素（包括数据集规模、模式复杂度和示例难度等）的多样化训练集进行实证分析，本研究发现增加数据集复杂性有助于提高模型在多个不同泛化挑战上的泛化行为，并且展示了更复杂的数据集提供更多样化示例以增强组合性理解效果，并减少示例的重复频率以避免不可泛化的记忆，同时强调了简单示例在合成数据集上引发比复杂示例更强的组合性，而在更大规模的真实语言数据集上，简单和复杂示例的平衡混合能够诱导出最强的泛化能力。
compositional generalizationdiagnostic datasetstransformer modelsdataset complexityexample difficulty
发现论文，激发创造
  • 测量组合泛化能力：一种基于真实数据的综合方法

    本研究提出了一种基于分子分散度最大化和原子分散度最小化的方法去构建实际应用的语言理解数据集，并通过分析三个多层次深度学习架构的表现来量化比较这种方法与其他构建复合语言理解测评基准的方法，研究表明现有的机器学习方法在复合语言理解上处于局限性表现，且都表现出惊人强的负相关性，研究结果可应用于构建和优化大规模自然语言处理应用系统。

    Dec, 2019

  • 利用数据集制图来提高 Transformer 中的组合泛化能力

    通过数据集制图的方法，我们提出了一种新型的策略，用于增强神经网络的组合泛化性能，实现了模型准确性的显著提高。

    Oct, 2023

  • Transformer 模型解决复合任务

    通过探索 Transformer 模型的设计空间，我们发现一些设计上的决策对该模型的归纳偏差有很大的影响。我们发现这些决策可以显著地提高 Transformer 模型的组合泛化能力，并在各种复合任务中实现了比文献报道的更好的泛化结果，并在语义分析组合泛化基准（COGS）和字符串编辑操作组合基准（PCFG）中实现了最先进的结果。

    Aug, 2021

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 未观察到的局部结构使得组合泛化变得困难

    本文研究序列到序列模型在新组合情境下（被称为混合泛化）的推广效果，提出了本地结构和测试集的难度之间的关系，并通过选择对模型最具挑战性的测试样本，增加模型的泛化性能。

    Jan, 2022

  • 通过结构标注提高分类任务中的组合泛化能力

    本文研究了复合推理在分类任务中的应用，并提出结构提示（如句法树和实体链接）对于解决神经模型复合推理问题具有较好的效果。

    Jun, 2021

  • 多标签文本分类的组合泛化：一种数据增强方法

    通过创建独特的数据集，评估现有多标签文本分类模型对复杂概念的组合泛化能力，在此基础上引入了数据增强方法，利用两种创新的文本生成模型提高分类模型对组合泛化的能力。实验证明，该数据增强方法显著提升了分类模型在我们的基准测试中的组合泛化能力，两种生成模型均超过了其他文本生成基准。

    Dec, 2023

  • 神经程序合成中的组合泛化和分解

    本文介绍了一种测量神经程序合成方法能否组合泛化的方法，引入了基于两个流行数据集的任务基准套件，以评估合成器在组合泛化方面的能力，最后通过新的注意机制来改进变压器模型的组合泛化能力

    Apr, 2022

  • 上下文示例如何影响组合推广？

    本文介绍了 CoFe 测试套件，以研究上下文中符合规范的泛化，研究发现，应该具有与测试案例结构相似，彼此之间不同和个别简单的上下文实例，还应该覆盖必需的语言结构。

    May, 2023

  • 评估结果的有效性：评估组成性基准测试的一致性

    近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组合分割策略进行划分，总计有 18 种组合泛化划分。我们的结果表明：i) 尽管所有数据集都设计用于评估组合泛化能力，但它们对建模方法的排名是不同的；ii) 由人类生成的数据集彼此之间更加一致，而与合成数据集之间的一致性较差；iii) 通常来说，数据集是否来自相同源头对于得到的模型排名的预测性更强，而是否保持相同的组合性解释则次之；iv) 数据中使用的词汇项目可以极大地影响结论。总的来说，我们的结果表明，在评估流行的评估数据集是否测量其意图时还有很多工作要做，建立更严格的评估标准可能有助于该领域的发展。

    Oct, 2023