ACLMay, 2021

关于神经机器翻译的组合泛化问题

PDF
TL;DR本论文研究了现代神经机器翻译模型的组成泛化问题，构建了包含 216k 个干净和一致的语句对的基准数据集 CoGnition，并通过复合翻译误差率定量分析了各种因素的影响，然后展示了神经机器翻译模型在组成泛化方面的表现欠佳，尽管在传统指标下表现出色。
neural machine translationcompositional generalizationbenchmark datasetdomain generalizationtranslation error rate
发现论文，激发创造
  • 神经机器翻译的语义表征分类

    加入原型引导的源端表示式，减少稀疏性和过拟合，以提高神经机器翻译的组成泛化性能。实验结果表明，该方法在多个机器翻译数据集上比 Transformer 基线方法表现更优。

    Oct, 2022

  • 神经机器翻译中的结构泛化评估

    本研究探讨了机器翻译和语义解析中的复合通用性问题，并发现神经机器翻译模型在句法结构的通用性上存在困难，而语义解析和机器翻译具有不同的性能趋势。

    Jun, 2024

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021

  • 神经机器翻译中形态丰富输入的组合表示

    本文提出用双向循环神经网络替代 NMT 源语言嵌入层，在任何所需的粒度水平上生成组合表示，从而解决基于统计的分词方法中可能导致的形态错误，实现了从字符 N-gram 组成词表示的 NMT 训练方法的一致逆袭。

    May, 2018

  • 使用基于分布的组合性评估方法评估机器翻译的组合推广能力

    开发一个基于分布的合成性评估框架，利用 Europarl 翻译语料库创建训练集和测试集，测试神经机器翻译系统在未训练依赖关系上的能力。

    Nov, 2023

  • 神经机器翻译中的组合性

    本研究探讨了神经机器翻译中组合性的两个具体表现：生产力和系统性，并通过一种简单的预训练机制减轻了编码器的表示不足而显著提高了 BLEU 分数。

    Nov, 2019

  • 关于一种基于一致性感知元学习的可靠神经机器翻译方法

    本文提出了一种基于一致性感知元学习的神经机器翻译（CoNMT）框架，旨在解决当前 NMT 系统中由源多样性现象导致的翻译错误，实验结果表明，该框架能有效提高翻译质量并可靠地处理输入的多样性。

    Mar, 2023

  • 测量组合泛化能力：一种基于真实数据的综合方法

    本研究提出了一种基于分子分散度最大化和原子分散度最小化的方法去构建实际应用的语言理解数据集，并通过分析三个多层次深度学习架构的表现来量化比较这种方法与其他构建复合语言理解测评基准的方法，研究表明现有的机器学习方法在复合语言理解上处于局限性表现，且都表现出惊人强的负相关性，研究结果可应用于构建和优化大规模自然语言处理应用系统。

    Dec, 2019

  • 元学习以复合泛化为目标

    自然语言是组成的，神经网络在组成泛化方面表现差， 自相似度驱动的元学习可提高自然语言处理模型的组成泛化能力。

    Jun, 2021