ACLSep, 2022

多语言双向无监督翻译：借助多语言微调和回译

PDF
TL;DR本文提出了 EcXTra 方法，使用预训练模型，在 40 种语言间进行多语言微调，使用双向回译来生成合成的语言平行数据，达到了无监督 NMT 的翻译效果。该方法在处理低资源语言上表现出优秀的翻译性能，尤其在英语到哈萨克语的翻译任务上达到了新的最先进水平。
发现论文，激发创造
  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 为实现零样本神经机器翻译最大化利用多语言预训练

    论文证明多语言预训练和微调策略对于零 - shot 翻译是至关重要的，本文提出了一个强大的多语言翻译模型 SixT+，支持 100 多种源语言，并实现了在不同翻译任务中的最好表现。

    Oct, 2021

  • 双向神经机器翻译与合成平行数据

    本论文提出一种结合了回译和多语言神经机器翻译技术的新技术，通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果，并且能显著降低培训和部署成本。

    May, 2018

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 反向翻译框架中翻译模型的端到端训练

    本篇论文提出了一种基于交叉学习的半监督学习算法，其中使用了背译和变分自编码器以及分类重参技巧来提高机器翻译的质量。

    Feb, 2022

  • XLM-T: 使用预训练的跨语言 Transformer 编码器扩展多语言机器翻译能力

    本文介绍了使用预训练的跨语言 Transformer 编码器初始化模型，并使用多语言平行数据微调的简单方法 XLM-T，它在 10 种语言对的 WMT 数据集和 94 种语言对的 OPUS-100 语料库中实现了显着的性能提升。此外，对 XLM-T 进行的无监督句法分析，词对齐和多语言分类的广泛分析说明了其对机器翻译的有效性。

    Dec, 2020

  • 无监督机器翻译的多语言视角

    提出了一个概率框架，用于多语言神经机器翻译，特别针对无监督翻译。通过使用一个新型的跨语言翻译损失项，自然地利用其他包含辅助平行数据的语言作为源或目标语之一。实验证明，在大多数方向上，我们的方法导致在 WMT'14 英语 - 法语、WMT'16 英语 - 德语和 WMT'16 英语 - 罗马尼亚语数据集上，BLEU 得分比最先进的无监督模型高，并且在罗马尼亚语 - 英语方向上，我们获得了比最佳无监督模型高 1.65 的 BLEU 优势。

    Feb, 2020

  • 跨语言转移的潜在翻译模型

    提出一种新颖的潜变量翻译分类模型，在多语言 NLU 任务中表现优异，实现了迁移学习。

    Jul, 2021

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016