ACLAug, 2021

自然语言复合性之悖论：基于神经机器翻译的案例研究

PDF
TL;DR本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。
发现论文，激发创造
  • 组合成分分解：神经网络如何泛化？

    本研究基于多种语言和哲学理论对构成性的不同解释，提出了五个理论有据的测试方法，用于评估神经语言模型的构成性能力，结果分析了三种常见神经网络结构在高度构成性数据集上的表现和潜在改进方向。

    Aug, 2019

  • 从 Frege 到 chatGPT：语言、认知和深度神经网络中的组合性

    人工智能中的大型语言模型和深度神经网络通过学习组合性处理和元学习的方式，展示了复杂的认知行为，为人类认知研究提供了新的视角和可能性。

    May, 2024

  • 现代人工神经网络中的语言泛化和组合性

    该研究回顾了当前深度学习语言处理网络的主要创新，讨论了一系列研究表明深度网络能够进行微妙的语法依赖性泛化，但也不依赖于系统化的组合规则，这一现象应该引起语言学家和认知科学家的兴趣。

    Mar, 2019

  • 维护紧密性：应对新兴语言中的复合性问题

    本文研究了语言中的复合性在普遍性和人类认知中的作用，并通过两个代理人之间的沟通博弈，证明了当在适当的数据集上进行评估时，复合性确实似乎对成功的泛化至关重要。

    Jun, 2022

  • 语言模型零样本函数组合性的探索

    本文探讨了预训练语言模型的功能组合性问题，并指出当前的 PLMs（例如 GPT-2 和 T5）还没有具有功能组合性，远未达到人类级别的泛化能力。同时，对于零样本功能组合的语言模型提出了研究方向。

    Mar, 2023

  • 神经机器翻译中的组合性

    本研究探讨了神经机器翻译中组合性的两个具体表现：生产力和系统性，并通过一种简单的预训练机制减轻了编码器的表示不足而显著提高了 BLEU 分数。

    Nov, 2019

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • 分析 NLI 模型的组合敏感性

    本研究通过实验验证，发现多个最先进的 NLI 模型都过度依赖词汇而无法使用组合语义，因此提出了一种可分析自然语言例句中 NLI 模型组成特性的测试设置，并在已有数据集上测试，这种测试设置可以帮助模型更好地了解复杂的含义，并为模型的改进提供机会。

    Nov, 2018

  • 组合性作为词汇对称性

    该文章提出了一种基于数据分布的组合建模通用框架，证明了针对具有词汇表和组合函数的任何可分解任务都存在一族数据转换函数，可在训练数据上产生新的、格式正确的例子，进而说明即使在未知组合函数的情况下 (例如无法编写或推断符号语法), 也可以识别这些数据转换并对普通 RNN 和转换器序列模型进行数据增强，在 CLEVR-CoGenT 视觉问答数据集上获得了最先进的结果，在 COGS 语义分析数据集上获得了与专用模型架构相当的结果。

    Jan, 2022

  • 关于神经机器翻译的组合泛化问题

    本论文研究了现代神经机器翻译模型的组成泛化问题，构建了包含 216k 个干净和一致的语句对的基准数据集 CoGnition，并通过复合翻译误差率定量分析了各种因素的影响，然后展示了神经机器翻译模型在组成泛化方面的表现欠佳，尽管在传统指标下表现出色。

    May, 2021