Nov, 2019

数据多样化：神经机器翻译的简单策略

PDF
TL;DR通过使用多个前向和反向模型的预测结果来实现数据多样化， Data Diversification 是一种简单但有效的策略来提高神经机器翻译性能，它在不增加计算量和参数的情况下，适用于所有 NMT 模型，并在 WMT'14 英语 - 德语和英语 - 法语翻译任务中突破了最新的 BLEU 得分，并在 8 个其他翻译任务中取得了显著进展，它比知识蒸馏和双向学习更有效，并以牺牲复杂度换取更好的 BLEU 得分.
data diversificationneural machine translationtraining datastate-of-the-art bleu scoreslow-resource translation tasks
发现论文，激发创造
  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018

  • 使用单语数据改进神经机器翻译模型

    通过将单语数据与自动背景翻译配对，我们未改变神经网络结构，使用目标语单语训练数据进行神经机器翻译（NMT）模型的训练，并在多项任务上取得最新的最优结果（最高 + 2.8-3.7 BLEU），并证明了使用领域单语和平行数据进行微调，对 IWSLT 15 任务英德翻译有实质性的改善。

    Nov, 2015

  • 神经机器翻译中的反向翻译泛化

    本研究提出在跨熵优化的范畴中改进后向翻译，其涵盖包括从目标到源 NMT 模型中进行采样的更广泛的合成数据生成方案，并在 WMT 2018 德语 - 英语新闻翻译任务上验证了我们的陈述。

    Jun, 2019

  • 神经机器翻译数据选择课程

    本文通过两阶段课程训练框架及对六种语言对的全面实验，证明了基于预训练方法和在线评分的确定性评分选择数据子集，对神经机器翻译模型进行微调训练的课程训练策略会显著提高 BLEU 质量（高达 2.2 个 BLEU），并且更快地收敛（更新次数减少了约 50%）。

    Mar, 2022

  • 双向神经机器翻译与合成平行数据

    本论文提出一种结合了回译和多语言神经机器翻译技术的新技术，通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果，并且能显著降低培训和部署成本。

    May, 2018

  • 提升神经机器翻译

    本文提出了一种基于数据增强和引导的训练方法来缓解神经机器翻译 (NMT) 训练效率方面的问题，它模拟人类学习过程，能够提高准确性并节省 20% 的训练时间。

    Dec, 2016

  • 低资源机器翻译中的语法差异处理

    本文提出一种简单但有效的方法，即将目标语句重新排序以匹配源语序，并将其作为另外一种训练时的监督信号，从而在模拟低资源日语 - 英语和真实低资源维吾尔 - 英语语种中获得显着改进。

    Aug, 2019

  • 简单融合：语言模型的回归

    本研究比较了将语言模型融合进神经机器翻译的几种方法，并提出了一种新的利用预训练语言模型得分的简单方法，使得翻译模型能够专注于源语言建模，从而在四个测试数据集上取得了 BLEU 值 0.24 至 2.36 的提升。

    Sep, 2018

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 从多个来源选择回译数据以改进神经机器翻译

    本文提出了使用不同的机器翻译方法进行回译来生成合成训练语料，并使用数据选择策略来优化其性能，进而提高低资源语言的机器翻译质量。结果表明，这种方法可以有效地提升机器翻译的性能。

    May, 2020