ACLMar, 2022

无监督神经机器翻译训练和推断之间数据差距的纾解

PDF
TL;DR通过在线自我训练方法缩小数据差距，使用伪并行数据来模拟推理情景，从而解决了 Unsupervised Neural Machine Translation​中的源数据差异所带来的挑战。
发现论文，激发创造
  • 通过伪平行数据增强无监督机器翻译

    即使有深度学习和大规模语言建模的最新发展，对于低资源语言的机器翻译任务仍然是一个挑战。我们提出了一种训练策略，依赖于从单语语料库中挖掘的伪平行句对和从单语语料库中反向翻译的合成句对。我们尝试了不同的训练计划，并在基于仅反向翻译数据训练的基线上实现了高达 14.5 BLEU 分（从英语到乌克兰语）的改进。

    Oct, 2023

  • 神经机器翻译的训练和推理之间的缩小差距

    本研究针对神经机器翻译存在的训练误差积累和过度校正问题，提出了一种从训练模型的预测序列中采样上下文词并使用句子级优化方法选择预测序列的训练策略，并在中英互译和 WMT'14 英德互译数据集上得到了显著提高。

    Jun, 2019

  • 非平衡训练数据情景下的无监督神经机器翻译自训练

    本文旨在解决源语言文本资源匮乏时，因失衡的训练数据导致无监督神经机器翻译系统（UNMT）性能低下的问题，提出基于自训练机制的 UNMT 系统，实验证明了其比传统 UNMT 系统的性能更好。

    Apr, 2020

  • 无监督神经机器翻译

    本研究提出了一种全新的方法，在没有平行数据的情况下，只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术， 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数，且能够利用少量的平行数据来提高翻译质量。

    Oct, 2017

  • 低资源机器翻译中的语法差异处理

    本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

    Aug, 2019

  • 将无监督数据生成技术融入自监督神经机器翻译中，以应对低资源语言

    本文介绍了一种将无监督机器翻译和自监督 NMT 相结合的方法，该方法利用合成数据生成技术和 back-translation 的方法提高 SSNMT 的性能，特别是在缺乏语言对数据的情况下可以对距离较远的语言对进行翻译。

    Jul, 2021

  • 无标签回译

    研究发现，采用无标记的反向翻译方法可以有效地从大量单语数据中生成平行句子，进而提高神经机器翻译的效果。该方法能够消除标记语境的需求，并在低资源的英越和英德神经机器翻译任务上表现出比标准方法和标记方法更好的性能。

    Dec, 2019

  • 利用课程学习提升无监督神经机器翻译的性能

    通过提出一种课程学习方法，将从多个粒度发现语料库中的质量，逐渐利用从易到难的数据，通过平衡不同部分的质量得分，推动模型关注更高质量的数据，从而显著提高无监督神经机器翻译的翻译性能.

    Sep, 2021

  • 神经机器翻译中的回译研究

    本研究探讨了使用回译数据对 NMT 模型性能的影响，通过逐步增加回译数据来训练一系列以德语为源语言，以英语为目标语言的 NMT 系统，并分析了相应的翻译绩效。

    Apr, 2018

  • 跨语言监督提高无监督神经机器翻译

    本研究提出了一种跨语言无监督神经机器翻译框架，利用来自高资源语言对的弱监督信号，以提高零资源翻译质量。该框架基于多语言模型，不需要对标准无监督神经机器翻译进行改动，实验结果表明使用该框架可以在六个基准无监督翻译方向上将翻译质量提高超过 3 个 BLEU 分数。

    Apr, 2020