该论文提出了一种半监督的方法来训练神经机器翻译模型,该方法使用标记数据和未标记数据的拼接,通过一个自编码器重建单语语料库,从而利用源语言和目标语言的单语语料库以及双语平行语料库从而在中英数据集上取得了显著的性能提升。
Jun, 2016
本文提出了 EcXTra 方法,使用预训练模型,在 40 种语言间进行多语言微调,使用双向回译来生成合成的语言平行数据,达到了无监督 NMT 的翻译效果。该方法在处理低资源语言上表现出优秀的翻译性能,尤其在英语到哈萨克语的翻译任务上达到了新的最先进水平。
Sep, 2022
我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译,能够通过共享的潜在表示联合生成源语言句子和目标语言句子,并使用摊余变分推断和重参数化梯度进行高效的训练,可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模(即标准神经机器翻译)更好的性能。同时,我们讨论了联合建模的统计学意义,并提出了一种高效的近似方法来进行最大后验解码,以便在测试时进行快速预测。
Jul, 2018
本研究提出了一种全新的方法,在没有平行数据的情况下,只利用单语数据即可训练 NMT 系统。这种基于注意力机制的编码器解码器模型结合去噪和回译技术, 在 WMT 2014 的法英和德英翻译中获得了 15.56 和 10.21 BLEU 分数,且能够利用少量的平行数据来提高翻译质量。
Oct, 2017
利用自训练策略改进 Neural Machine Translation(NMT)模型,通过反向翻译技术来生成高质量的合成数据以训练标准翻译模型,可提高低资源下的翻译品质,提高翻译模型的 BLEU 值。
Jun, 2020
通过添加 reconstructor 到 encoder-decoder 框架中,从输出的 target sentence 的隐藏层中重构输入的 source sentence,改善了神经机器翻译的可靠性和翻译质量。
Nov, 2016
提出一种新颖的潜变量翻译分类模型,在多语言 NLU 任务中表现优异,实现了迁移学习。
Jul, 2021
本文提出了一种变分神经机器翻译编码器 - 解码器模型,引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成,通过神经后验估计技术对该模型进行训练,在中英文和英德翻译任务中实现了显著的性能提升。
May, 2016
本论文提出一种结合了回译和多语言神经机器翻译技术的新技术,通过为一个语言对训练一个模型来改善在低资源和跨领域情况下的机器翻译效果,并且能显著降低培训和部署成本。
May, 2018
本文提出了一种基于元学习的算法,通过调整预先训练的 back-translation 模型来生成伪平行数据,用于训练前向翻译模型,并在 WMT 数据集和多语言翻译中实现了显著的改进。
Feb, 2021