Mar, 2023

基于去噪的 UNMT 比基于 MASS 的 UNMT 更具有抗词序分歧的能力

PDF
TL;DR本文研究使用自监督预训练的 UNMT 方法在语言对的词序差异方面的稳健性，并比较了两种使用相同自监督预训练目标的模型。在五种英语→印度语语言对的实验中，发现基于 DAE 的 UNMT 方法在具有词序差异的情况下表现更稳健，可能是由于 DAE 方法中的词语混淆噪声的作用。
unmtself-supervised pre-trainingword-order divergencemassdae
发现论文，激发创造
  • 带有对抗去噪训练的强鲁棒性无监督神经机器翻译

    本文研究了无监督神经机器翻译在噪声数据下的鲁棒性问题，并且提出了一种针对这种噪声数据的对抗性训练方法，通过去噪来提高无监督神经机器翻译的鲁棒性。经过实验验证，该方法在一些语言对上，显著提高了传统无监督神经机器翻译系统在嘈杂场景下的性能。

    Feb, 2020

  • 将无监督数据生成技术融入自监督神经机器翻译中，以应对低资源语言

    本文介绍了一种将无监督机器翻译和自监督 NMT 相结合的方法，该方法利用合成数据生成技术和 back-translation 的方法提高 SSNMT 的性能，特别是在缺乏语言对数据的情况下可以对距离较远的语言对进行翻译。

    Jul, 2021

  • 乱序翻译问题：去噪 UNMT 问题

    该论文提出了一种针对 Unsupervised 神经机器翻译（UNMT）系统中的错误类型 - 了解到的（Undreamt）中存在的 Scrambled Translation 问题，通过重新训练策略，该问题得到了有效的解决。

    Oct, 2019

  • 探索无监督的预训练目标对机器翻译的影响

    本文研究无监督跨语言预训练在神经机器翻译中的应用，通过对编码器输入进行屏蔽或者基于上下文重新排序和替换等不同预训练方法的比较，发现无监督机器翻译对预训练目标的敏感度较高，与有监督机器翻译相比，更需要具有强大跨语言能力的编码器模型。

    Jun, 2021

  • 使用去噪反向翻译提升级联无监督语音翻译

    我们提出了一种基于叠层系统的语音翻译方法，使用全非配对数据训练了我们的无监督系统，并采用去噪回译法提高翻译结果。研究结果显示，我们的方法可以有效解决低资源语言数据难以获取的问题，并在某些语言对上表现出可比较的效果。

    May, 2023

  • 去噪适配器的多语言无监督神经机器翻译

    本文提出了一种使用去噪适配器的方法，以在没有监督数据的情况下，通过使用辅助并行语言对，将机器翻译应用于仅具有单语数据的语言。该方法的结果与反向翻译相当，并且允许逐步添加新语言。

    Oct, 2021

  • 利用语言模型和降噪自编码器改善无监督逐字翻译

    本文提出了简单而有效的方法，通过使用单语语料库而无需任何回译来改善跨语言嵌入的逐字翻译，并结合语言模型和噪声自编码器来提高其翻译性能，分析了词汇量和去噪类型对翻译效果的影响。

    Jan, 2019

  • 多语言去噪预训练用于神经机器翻译

    本文的研究表明，多语言去噪预训练在各种机器翻译任务中都有显著的性能提升，通过使用 BART 目标在许多语言的大规模单语语料库上进行序列到序列去噪自动编码器的预训练，我们提出了 mBART。mBART 是预训练完整序列到序列模型的首个方法之一，它能够直接进行监督（包括句子级和文档级）和无监督机器翻译的微调，而无需特定于任务的修改，并且在除最高资源设置外的所有设置中都能实现性能提升，包括低资源机器翻译和许多文档级和无监督模型的 12 BLEU 点和 5 BLEU 点以上。

    Jan, 2020

  • 神经机器翻译的通用条件掩码语言预训练

    本文介绍了一种 CeMAT 方法，即一种在双语和单语语料库上进行预训练的条件掩码语言模型，其中包括双向解码器，通过该方法可以在低资源及高资源语言下分别提高 14.4 BLEU 和 7.9 BLEU 及能显著提高 Autoregressive NMT 的性能。此外，本文还首次在 NMT 任务上使用了统一预训练模型，并提供相关数据和模型。

    Mar, 2022

  • 非平衡训练数据情景下的无监督神经机器翻译自训练

    本文旨在解决源语言文本资源匮乏时，因失衡的训练数据导致无监督神经机器翻译系统（UNMT）性能低下的问题，提出基于自训练机制的 UNMT 系统，实验证明了其比传统 UNMT 系统的性能更好。

    Apr, 2020