May, 2023

单语数据何时对多语言翻译有帮助：领域和模型规模的作用

PDF
TL;DR通过实验研究了多种语言机器翻译在不同数据条件和模型尺度下，去噪自编码器和回译技术对多种语言机器翻译的影响、以及单语数据在多种语言机器翻译中的作用和数据规模对机器翻译的影响等问题。结果发现单语数据总体有益于机器翻译，但在小型模型中对领域不匹配，BT 对相似的平行，单语和测试数据来源是有益的，但在其他情况下会有不利影响，DAE 相对于以前报告的效果不如。规模永远是关键。
multilingual machine translationdenoising autoencodingbacktranslationmonolingual datadata scales
发现论文，激发创造
  • 使用单语数据改进神经机器翻译模型

    通过将单语数据与自动背景翻译配对，我们未改变神经网络结构，使用目标语单语训练数据进行神经机器翻译（NMT）模型的训练，并在多项任务上取得最新的最优结果（最高 + 2.8-3.7 BLEU），并证明了使用领域单语和平行数据进行微调，对 IWSLT 15 任务英德翻译有实质性的改善。

    Nov, 2015

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 神经机器翻译中的单语数据使用：一项系统研究

    本文对神经机器翻译的数据生成进行了系统研究，比较了不同的单语数据使用方法和多个数据生成过程，并介绍了一些便宜易实现的新数据模拟技术。研究发现，通过回译技术生成人工平行数据非常有效，并给出了原因解释。

    Mar, 2019

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 针对机器翻译的领域特定文本生成

    本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法，通过该方法，配合回译技术，可生成大量合成双语的领域内数据，从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。

    Aug, 2022

  • 规模理解后向翻译

    使用单语数据生成目标语反向翻译的有效方法能够提高神经机器翻译质量。本研究比较了几种方法生成合成源句子的效果，发现使用采样或噪声束搜索的反向翻译方法效果最好，并证实这种合成数据的训练信号强于束搜索或贪婪搜索的数据，同时也比较了它们与真实的平行语料库的效果，并研究了不同领域对它们的影响。最终，将这种方法扩展到数亿条单语数据，获得了 35 BLEU 的 WMT'14 英德测试集上的最新记录。

    Aug, 2018

  • 神经机器翻译中的回译研究

    本研究探讨了使用回译数据对 NMT 模型性能的影响，通过逐步增加回译数据来训练一系列以德语为源语言，以英语为目标语言的 NMT 系统，并分析了相应的翻译绩效。

    Apr, 2018

  • 多域多语言神经机器翻译中，能否跨语言进行域传递？

    本文讨论了如何在多领域和多语言神经机器翻译 (MDML-NMT) 中跨语言传输领域信息，以提高零样本翻译性能和帮助域缺失的多领域 NMT 的泛化。通过组合多语言和多领域 NMT 及添加编码器目标语言标签等有效策略，实现了学习到有针对性的表示和提高性能的目的。

    Oct, 2022

  • 神经机器翻译中低资源域适应的正确配方寻找

    本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果，在低资源条件下提出了集成方法来缓解翻译质量的降低，并给出了在三个领域和四个语言对中的建议。

    Jun, 2022

  • 神经机器翻译合成数据中的领域、翻译语体和噪声

    通过利用附加单语资源来创建合成训练数据，可以提高神经机器翻译的质量，本文探讨了前向翻译和反向翻译在翻译源语句子和目标语句子时的优点，并研究了不同地域、语言和噪音环境下翻译的影响。另外，本文还给出了低资源情况下前向和反向翻译的比较。

    Nov, 2019