Nov, 2019

神经机器翻译的领域鲁棒性

HTML
PDF
TL;DR本文研究了机器翻译模型在未知领域中的性能表现，发现在未知领域中，统计机器翻译（SMT）和神经机器翻译（NMT）系统存在不同的问题：SMT系统通常足够但不流利，而NMT系统流利但不足够。本文发现，NMT系统出现的“幻觉”现象是造成低域稳健性的主要原因，研究并比较了有关提高NMT系统稳健性的方法，实验结果表明，这些方法能够稍微提高NMT系统翻译的充分性，但对流畅性的提高较小。
发现论文，激发创造
  • 神经机器翻译简单领域适应方法的实证比较

    本文提出了一种新颖的领域自适应方法——“混合微调”，用于神经机器翻译。该方法将微调和多领域 NMT 两种现有方法相结合，并在一个混合了内外领域语料库的平行语料库上对NMT模型进行微调，然后通过增加人工标记来指示特定领域对所有语料库进行增强。我们在实证基础上比较了我们的方法与微调和多领域方法，讨论了它的优点和缺点。

    Jan, 2017

  • 构建强韧的神经机器翻译系统

    本文提出采用对抗性稳定性训练来提高神经机器翻译(NMT)模型的鲁棒性，通过使编码器和解码器在输入和其扰动版本的情况下行为相似，进而提高模型的容错性。在汉英、英德和英法翻译任务中的实验结果表明，该方法不仅可以显著提高强NMT系统的翻译品质，而且可以增强NMT模型的鲁棒性。

    May, 2018

  • 具有双重对抗输入的稳健神经机器翻译

    提出了一种改善神经机器翻译模型鲁棒性的方法，该方法包含两个部分：通过对抗性源样本攻击翻译模型，以及通过对抗性目标输入来防御翻译模型，以提高其对抗性源输入的鲁棒性，并通过梯度下降法生成对抗性输入来提高其性能。在中英和英德翻译任务的实验结果表明，在标准的干净基准测试中，我们的方法可以取得显著的改进（$2.8$和$1.6$ BLEU 分数），同时在噪声数据上表现出更高的鲁棒性。

    Jun, 2019

  • 通过数据增强提高神经机器翻译的鲁棒性：超越回译

    本文探讨了神经机器翻译以及如何提高其对于噪声输入的鲁棒性，提出了新的数据扩充方法以及通过利用外部数据中的噪声来加强模型鲁棒性。

    Oct, 2019

  • 神经机器翻译合成数据中的领域、翻译语体和噪声

    通过利用附加单语资源来创建合成训练数据，可以提高神经机器翻译的质量，本文探讨了前向翻译和反向翻译在翻译源语句子和目标语句子时的优点，并研究了不同地域、语言和噪音环境下翻译的影响。另外，本文还给出了低资源情况下前向和反向翻译的比较。

    Nov, 2019

  • 神经机器翻译对输入扰动的鲁棒性评估

    本文提出了衡量NMT模型抗干扰性能的一些额外指标，并针对一类使用子单词规范化方法的模型进行了广泛评估，结果表明我们提出的指标揭示了使用子单词规范化方法时抗干扰性能提高的明显趋势。

    May, 2020

  • 机器翻译中提高领域鲁棒性和领域适应性

    本文探讨了基于元学习的神经机器翻译领域自适应的两个问题；一是如何实现跨领域鲁棒性，即在训练数据包括两个领域时获得高质量的翻译结果；二是如何实现适应性，即仅利用数百个领域内的平行句子对系统进行微调。我们的研究表明，我们提出的元学习模型（RMLNMT）能够显著提高模型的领域鲁棒性和适应性，同时包括已知领域和未知领域。

    Dec, 2021

  • 逐步翻译：通过中间序列提高神经机器翻译的领域鲁棒性

    本文提出了利用中间信号的方法来改善神经机器翻译(NMT)的性能，通过引入特定的中间序列可以降低域内和域外的干扰，进而增强NMT的鲁棒性和泛化性能，特别是在低资源情况下效果显著。

    May, 2023

  • 跨语言多语种神经机器翻译中的鲁棒性是否可转移？

    研究通过对抗训练和数据增强来提高多语言神经机器翻译模型的稳健性，并探究在多语言翻译中稳健性的可传递性。在多个实验中，我们使用字符级、词级和多级噪声来攻击多语言神经机器翻译模型的特定翻译方向，并评估其他翻译方向的稳健性。我们的研究结果表明，稳健性在一个翻译方向获得的情况下确实可以传递到其他翻译方向，并且实证发现字符级噪声和词级噪声的稳健性更有可能传递。

    Oct, 2023

  • 机器翻译模型是否在不被察觉的情况下变得更加健壮了？

    通过对多语种机器翻译模型和大型语言模型在噪声输入情境下的实验研究，我们发现这些模型相比以往模型对各种噪声更加稳健，尤其是在处理干净数据情况下表现相似的情况下。我们还展示了这种趋势在社交媒体翻译实验中同样存在，同时分析了源文本校正技术在减轻噪声影响方面的应用情况。综上所述，我们展示了对于多种类型噪声的稳健性有所增强。

    Mar, 2024