EMNLPOct, 2021

神经机器翻译中预训练和反向翻译之间的互补性

PDF
TL;DR本研究探讨了预训练和回译方法对神经机器翻译的性能提升效果，发现预训练对编码器模块的贡献更大，回译对解码器模块的性能提升更为明显，两种方法相互补充，使得在 WMT16 英 - 罗马尼亚语和英 - 俄语翻译语料库中取得了最先进的翻译效果。
发现论文，激发创造
  • 神经机器翻译中的回译研究

    本研究探讨了使用回译数据对 NMT 模型性能的影响，通过逐步增加回译数据来训练一系列以德语为源语言，以英语为目标语言的 NMT 系统，并分析了相应的翻译绩效。

    Apr, 2018

  • 双向神经机器翻译与合成平行数据

    本论文提出一种结合了回译和多语言神经机器翻译技术的新技术，通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果，并且能显著降低培训和部署成本。

    May, 2018

  • 利用课程学习提升无监督神经机器翻译的性能

    通过提出一种课程学习方法，将从多个粒度发现语料库中的质量，逐渐利用从易到难的数据，通过平衡不同部分的质量得分，推动模型关注更高质量的数据，从而显著提高无监督神经机器翻译的翻译性能.

    Sep, 2021

  • HintedBT：利用质量和音译提示增强的回译

    提出了一种基于 Back-translation 的数据增强技术 HintedBT，并将其应用于低资源语言和异文翻译任务中，通过在编码器和解码器中添加标签提供相关信息，有效提高了翻译质量。

    Sep, 2021

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 基于短语和神经网络的无监督机器翻译

    该研究研究了如何在只有大型单语语料库的情况下学习翻译。提出了两种模型，一种是神经模型，一种是基于短语的模型。这些模型通过参数的精心初始化、语言模型的去噪效应和反向迭代自动生成的并行数据来提高翻译性能。在 WMT'14 英语 - 法语和 WMT'16 德语 - 英语 基准测试上，这些模型分别获得 28.1 和 25.2 BLEU 分数，比现有方法的 BLEU 分数高出 11 个分数。方法在英语 - 乌尔都语和英语 - 罗马尼亚语等低资源语言中也取得了良好的结果。

    Apr, 2018

  • 关于预训练和随机初始化在资源丰富机器翻译中的互补性

    本研究通过两个探究性分析研究了低资源神经机器翻译中文本表示预训练和随机初始化之间的互补性，并提出了一种模型融合算法来结合它们的互补性，在 WMT'17 英中翻译和 WMT'19 英德翻译中实现了很大的改进。

    Sep, 2022

  • 使用单语数据改进神经机器翻译模型

    通过将单语数据与自动背景翻译配对，我们未改变神经网络结构，使用目标语单语训练数据进行神经机器翻译（NMT）模型的训练，并在多项任务上取得最新的最优结果（最高 + 2.8-3.7 BLEU），并证明了使用领域单语和平行数据进行微调，对 IWSLT 15 任务英德翻译有实质性的改善。

    Nov, 2015

  • 神经机器翻译的预翻译

    使用词汇短语转换（phrase-based machine translation）方法预处理输入，进而提升神经机器翻译（NMT）的翻译质量，在英德翻译任务中，使用该方法的性能跃升 2 个 BLEU 分数，同时分析了初始系统质量对最终结果的影响。

    Oct, 2016

  • 神经机器翻译中的单语数据使用：一项系统研究

    本文对神经机器翻译的数据生成进行了系统研究，比较了不同的单语数据使用方法和多个数据生成过程，并介绍了一些便宜易实现的新数据模拟技术。研究发现，通过回译技术生成人工平行数据非常有效，并给出了原因解释。

    Mar, 2019