神经机器翻译中的随机解码器
本文提出了一种变分神经机器翻译编码器 - 解码器模型,引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成,通过神经后验估计技术对该模型进行训练,在中英文和英德翻译任务中实现了显著的性能提升。
May, 2016
我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译,能够通过共享的潜在表示联合生成源语言句子和目标语言句子,并使用摊余变分推断和重参数化梯度进行高效的训练,可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模(即标准神经机器翻译)更好的性能。同时,我们讨论了联合建模的统计学意义,并提出了一种高效的近似方法来进行最大后验解码,以便在测试时进行快速预测。
Jul, 2018
本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉,以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明,搜索功能表现出色,但模型往往在假设空间中分散了太多的概率质量。此外,我们还提出了评估模型校准的工具,并展示了如何轻松解决当前模型的一些缺陷。
Feb, 2018
提出了一种新的神经机器翻译模型,利用目标序列上下文的结构预测来引导翻译,从而使之摆脱顺序约束,实现了重复减少和跨长度翻译的鲁棒性,相较于当前最优方法有着更为优越的效果表现。
Jun, 2018
LaNMT 是一种基于最近的改进方法的潜变量非自回归模型,具有连续潜变量和确定性推断过程,在推断期间,翻译的长度自动适应,在 ASPEC Ja-En 数据集上的解码速度比自回归算法快 8.6 倍,在 WMT'14 En-De 数据集上,解码速度比自回归基线快 12.5 倍,且独立的并行解码和教师模型再评分可以将性能差距进一步降至 1.0 BLEU point。
Aug, 2019
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能,通过引入连续潜变量来增强编码器 - 解码器 NMT 范例,利用 Inference Network 中的共同关注机制来扩展该模型,使用不同方法试图缓解后验崩溃问题,并且探究学习潜空间的能力,该模型能有效地优化翻译模型。
Dec, 2018
本文提出了一种新颖的变分递归神经机器翻译(VRNMT)模型,该模型引入了一系列潜在随机变量以发挥生成效果,这些变量是通过变分自编码器获得的,并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术,该模型在汉英和英德翻译任务上实验,取得显着的性能提升。
Jan, 2018
本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈,并提出一种基于(软)搜索方式的新方法,在英法翻译任务中获得了与基于短语的模型相当的翻译性能,且(软)对齐结果与人类直觉相符。
Sep, 2014
分析神经机器翻译的性能,研究了两种模型:RNN 编码器 - 解码器和新提出的门控递归卷积神经网络,结果显示神经机器翻译在翻译较短,不含生词句子时表现相对良好,但随着句子长度和生词数的增加,其性能会迅速降低。同时发现,所提出的门控递归卷积网络能够自动学习句子的语法结构。
Sep, 2014