生成式神经机器翻译
Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络,使用 attention 机制和残差连接,借助词元素 (wordpieces) 将单词划分为子单元,提高了稀有单词处理能力与整体系统精度。
Sep, 2016
本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译(NMT)体系结构中,证明该模型通过直接零 - shot 翻译(不使用中转翻译)并使用源语句嵌入来创建英语 Yelp 评论分类器,该分类器能够通过神经间语协调法也对法语和德语评论进行分类,并且即使我们使用的参数数量比成对的 NMT 模型集合少,但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。
Apr, 2018
该论文提出了一种将 GANs 应用于 NMT 的方法,其通过生成对抗网络实现机器翻译任务中句子的生成,并使用 BLEU 评估模型表现,实验证明该方法在英德和中英翻译任务上均优于传统的 RNNSearch 和最新的 Transformer 模型。
Mar, 2017
本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈,并提出一种基于(软)搜索方式的新方法,在英法翻译任务中获得了与基于短语的模型相当的翻译性能,且(软)对齐结果与人类直觉相符。
Sep, 2014
本文提出了一种新颖的变分递归神经机器翻译(VRNMT)模型,该模型引入了一系列潜在随机变量以发挥生成效果,这些变量是通过变分自编码器获得的,并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术,该模型在汉英和英德翻译任务上实验,取得显着的性能提升。
Jan, 2018
我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译,能够通过共享的潜在表示联合生成源语言句子和目标语言句子,并使用摊余变分推断和重参数化梯度进行高效的训练,可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模(即标准神经机器翻译)更好的性能。同时,我们讨论了联合建模的统计学意义,并提出了一种高效的近似方法来进行最大后验解码,以便在测试时进行快速预测。
Jul, 2018
利用大型语言模型的丰富语言知识和强大的推理能力,我们提出了一种新的生成式翻译范式 ——“GenTranslate”,可以从 N 个候选译文中生成更高质量的翻译结果,并且在各种语音和机器翻译基准测试中明显优于现有模型。
Feb, 2024
通过添加 reconstructor 到 encoder-decoder 框架中,从输出的 target sentence 的隐藏层中重构输入的 source sentence,改善了神经机器翻译的可靠性和翻译质量。
Nov, 2016