Oct, 2023

关于后向翻译的合成数据

PDF
TL;DR通过理论和实证研究，我们确定了合成数据对回译神经机器翻译（NMT）性能的两个关键因素，即质量和重要性。基于我们的发现，我们提出了一种简单而有效的方法来生成合成数据，以更好地权衡这两个因素，从而为回译提供更好的性能。通过在 WMT14 的基准任务中运行广泛的实验，我们的回译模型显著优于标准的回译基线方法，证明了我们提出方法的有效性。
发现论文，激发创造
  • 规模理解后向翻译

    使用单语数据生成目标语反向翻译的有效方法能够提高神经机器翻译质量。本研究比较了几种方法生成合成源句子的效果，发现使用采样或噪声束搜索的反向翻译方法效果最好，并证实这种合成数据的训练信号强于束搜索或贪婪搜索的数据，同时也比较了它们与真实的平行语料库的效果，并研究了不同领域对它们的影响。最终，将这种方法扩展到数亿条单语数据，获得了 35 BLEU 的 WMT'14 英德测试集上的最新记录。

    Aug, 2018

  • 定向困难词汇的神经机器翻译反向抽样

    该研究探讨了逆向翻译的不同方面，并表明在训练期间预测损失高的单词最能从合成数据的添加中获益。使用以困难预测单词的预测损失和单词频率的采样策略，以及类似背景的选取句子的策略比随机采样的逆向翻译方法在 WMT 新闻翻译任务中提高了翻译质量。在德语 - 英语和英语 - 德语方向上，翻译质量分别提高了 1.7 和 1.2 BLEU 分数。

    Aug, 2018

  • 利用自我训练增强低资源神经机器翻译的反向翻译

    利用自训练策略改进 Neural Machine Translation（NMT）模型，通过反向翻译技术来生成高质量的合成数据以训练标准翻译模型，可提高低资源下的翻译品质，提高翻译模型的 BLEU 值。

    Jun, 2020

  • 标记后翻译

    提出源端输入带标记的后向翻译方法，以替代传统的加噪声方法，实验证明该方法在英罗马尼亚语翻译中表现优于传统方法，且在英德语翻译中达到同等水平，重新定义了该领域的最佳表现。

    Jun, 2019

  • 神经机器翻译中的回译研究

    本研究探讨了使用回译数据对 NMT 模型性能的影响，通过逐步增加回译数据来训练一系列以德语为源语言，以英语为目标语言的 NMT 系统，并分析了相应的翻译绩效。

    Apr, 2018

  • 元背译

    本文提出了一种基于元学习的算法，通过调整预先训练的 back-translation 模型来生成伪平行数据，用于训练前向翻译模型，并在 WMT 数据集和多语言翻译中实现了显著的改进。

    Feb, 2021

  • 从多个来源选择回译数据以改进神经机器翻译

    本文提出了使用不同的机器翻译方法进行回译来生成合成训练语料，并使用数据选择策略来优化其性能，进而提高低资源语言的机器翻译质量。结果表明，这种方法可以有效地提升机器翻译的性能。

    May, 2020

  • 神经机器翻译中的反向翻译泛化

    本研究提出在跨熵优化的范畴中改进后向翻译，其涵盖包括从目标到源 NMT 模型中进行采样的更广泛的合成数据生成方案，并在 WMT 2018 德语 - 英语新闻翻译任务上验证了我们的陈述。

    Jun, 2019

  • 神经机器翻译合成数据中的领域、翻译语体和噪声

    通过利用附加单语资源来创建合成训练数据，可以提高神经机器翻译的质量，本文探讨了前向翻译和反向翻译在翻译源语句子和目标语句子时的优点，并研究了不同地域、语言和噪音环境下翻译的影响。另外，本文还给出了低资源情况下前向和反向翻译的比较。

    Nov, 2019

  • 利用合成目标进行机器翻译

    使用大型预训练模型生成合成目标数据可以提高限定资源环境下机器翻译模型的性能，这种方法可以优于在实际数据上训练模型，效果更好的原因可以归因于模型参数的数量限制和优化效果的提高。

    May, 2023