ACLApr, 2020

非平衡训练数据情景下的无监督神经机器翻译自训练

PDF
TL;DR本文旨在解决源语言文本资源匮乏时，因失衡的训练数据导致无监督神经机器翻译系统（UNMT）性能低下的问题，提出基于自训练机制的 UNMT 系统，实验证明了其比传统 UNMT 系统的性能更好。
unsupervised neural machine translationmassive monolingual corporalow-resource languagesunbalanced training data scenarioself-training mechanisms
发现论文，激发创造
  • 基于非监督统计机器翻译初始化的无监督神经机器翻译

    这篇论文介绍了一种使用合成的双语数据来训练无监督神经机器翻译系统的方法，并使用增量式的反向翻译方法来提高其性能。 在 WMT16 德英新闻翻译任务上，该方法在无监督机器翻译方面实现了新的技术水平。

    Oct, 2018

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020

  • 通过伪平行数据增强无监督机器翻译

    即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线上实现了高达 14.5 BLEU 分（从英语到乌克兰语）的改进。

    Oct, 2023

  • 利用自监督单语数据进行多语言神经机器翻译

    本文研究了两个方向在低资源的神经机器翻译中的应用。第一种方向利用高资源语言通过多语言 NMT 来提高低资源语言的翻译质量。第二种方向利用自监督单语数据来预训练翻译模型并在少量监督数据的支持下进行 fine-tuning。本研究结合这两种方向，证明了单语数据对于多语言 NMT 的有效性，并提出了三个重要结果：(i) 使用单语数据显著提高了多语言模型中低资源语言的翻译质量。(ii) 自监督在多语言模型中提高了零样本翻译质量。(iii) 利用带自监督的单语数据为多语言模型添加新语言提供了一条可行的路径，在没有任何平行数据或回译的情况下，对于罗马尼亚 - 英语的翻译获得了高达 33 BLEU 的结果。

    May, 2020

  • 神经机器翻译的半监督学习

    该论文提出了一种半监督的方法来训练神经机器翻译模型，该方法使用标记数据和未标记数据的拼接，通过一个自编码器重建单语语料库，从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。

    Jun, 2016

  • 将无监督数据生成技术融入自监督神经机器翻译中，以应对低资源语言

    本文介绍了一种将无监督机器翻译和自监督 NMT 相结合的方法，该方法利用合成数据生成技术和 back-translation 的方法提高 SSNMT 的性能，特别是在缺乏语言对数据的情况下可以对距离较远的语言对进行翻译。

    Jul, 2021

  • 印度德拉维达语系自监督机器翻译

    本研究探讨无监督神经机器翻译在象征 Dravidian 家族的低资源语言翻译领域中的应用，并通过使用其他相关 Dravidian 语言之间的有限而有益的辅助数据，建议在 UNMT 模型中统一书写系统是非常重要的。利用所提出的语言相似度指标可选择相似的辅助语言来实现 UNMT，可以产生较好的效果。

    Mar, 2021

  • 基于参考语言的无监督神经机器翻译

    本文提出了一种基于参考语言的非监督神经机器翻译 (RUNMT) 框架，以解决非监督翻译性能不佳的问题，通过扩充平行语料库的使用范围，使得参考语言只需要与源语言共享平行语料库，同时提出了一种参考协议机制，利用参考语言中的线索来帮助无监督机器翻译的重构训练。实验结果表明，该方法比只使用一个辅助语言的强基线模型在质量上有所提高，为该领域建立了良好的起点。

    Apr, 2020

  • 多语言神经机器翻译的平衡训练

    该论文提出一种利用数据得分器来自动学习如何加权训练数据以最大化所有测试语言性能的方法，优于传统启发式方法，并提供对优化语言的灵活控制。

    Apr, 2020