神经机器翻译体系结构的大规模探索
Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络,使用 attention 机制和残差连接,借助词元素 (wordpieces) 将单词划分为子单元,提高了稀有单词处理能力与整体系统精度。
Sep, 2016
我们致力于构建一款通用的神经机器翻译系统,通过构建一个单一的大规模多语言 NMT 模型,实现了 103 种语言之间的翻译,带有有效的迁移学习能力,显着提高了低资源语言的翻译质量,同时保持高资源语言翻译质量与竞争双语基线相当,为实现通用 NMT 模型的质量和实用性提供了多个方面的模型构建分析,并指出未来研究的方向和需进一步解决的问题。
Jul, 2019
本文追溯了现代神经机器翻译体系结构的起源,重点探讨了单个神经网络在翻译中的应用,其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例,并总结了该领域的最新趋势。
Dec, 2019
本文探讨了多语种神经机器翻译的极限,通过实验培训了适用于 102 种语言的模型,并在 59 种语言上表现出了优异的翻译效果,表明大规模多语种神经机器翻译模型对低资源环境下的翻译质量有积极支持和刺激。
Feb, 2019
本研究旨在分享我们在神经机器翻译领域的专业知识,创造出竞争力强且适用于不同用例的翻译引擎,在实际生产流程中实现特定领域的高效翻译。我们提供了一种同时发布多种语言在线演示程序的方法,并探索了不同的实用选项、网络架构和评估方法等。
Oct, 2016
本文介绍了一个基于 Transformer 结构和 OpenNMT 框架的 En/Ja 神经机器翻译系统的构建,详细探讨了预处理、超参数调整和模型结构等因素的影响,并通过 BLEU 等标准自动评估指标以及作者的主观评估证实了其优异性能。
Feb, 2022
本研究旨在解决神经机器翻译应用于大词汇量和形态丰富语言的挑战,通过使用基于字符的嵌入法,结合卷积层和高速公路网络来替代传统的基于词的表示法,并测试其在注意力机制双向递归神经网络中的应用,结果表明该方法即使在源语言不富含形态学的情况下也能够在德英 WMT 任务中取得高达 3 个 BLEU 分的改进效果。
Mar, 2016
本研究探讨神经机器翻译模型的超参数化问题,并通过实验证明删除的参数可以被再利用来提高基准模型的性能,其提高的翻译结果可以达到 0.8 个 BLEU 值,再利用的参数被用于增强底层的语义建模能力。
Oct, 2020
本研究采用深度转移递归神经网络的模型构架方法,增加了模型的深度,通过多次非线性转化的隐藏状态转移以及线性变换路径的设计,有效解决了梯度消失的问题,显著提高了翻译质量,其中 DTMT 在中文 - 英文翻译任务中的 BLEU 分数比 Transformer 模型提高了 2.09 分,并在 WMT14 英德、英法翻译任务上显示出优异的质量。
Dec, 2018
本文提出了将 SMT 模型融入 NMT 框架,通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成,从而提高中英翻译的性能。实验结果表明,该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。
Oct, 2016