我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译,能够通过共享的潜在表示联合生成源语言句子和目标语言句子,并使用摊余变分推断和重参数化梯度进行高效的训练,可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模(即标准神经机器翻译)更好的性能。同时,我们讨论了联合建模的统计学意义,并提出了一种高效的近似方法来进行最大后验解码,以便在测试时进行快速预测。
Jul, 2018
探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能,通过引入连续潜变量来增强编码器 - 解码器 NMT 范例,利用 Inference Network 中的共同关注机制来扩展该模型,使用不同方法试图缓解后验崩溃问题,并且探究学习潜空间的能力,该模型能有效地优化翻译模型。
Dec, 2018
本文提出了一种新颖的变分递归神经机器翻译(VRNMT)模型,该模型引入了一系列潜在随机变量以发挥生成效果,这些变量是通过变分自编码器获得的,并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术,该模型在汉英和英德翻译任务上实验,取得显着的性能提升。
Jan, 2018
通过深度生成模型,我们提供了一种考虑平行 corpus 中局部语义和句法变化的机器翻译方法,并通过多个语言对的实验验证了其相比基准模型的效果提高。
May, 2018
本文通过将训练步骤分为两个阶段来解决 KL - 消失问题,采用多层感知器对高斯噪声进行变换来对潜在变量进行采样,从而实现更灵活的分布,实验结果表明,我们的模型在度量和人类评估方面都有大幅度提高。
Feb, 2018
通过引入一个通用变分推断框架来构建生成式和条件文本模型的变分推断网络,我们验证了该框架在生成式文档建模和监督式问题回答两个不同的文本建模应用中的有效性。
Nov, 2015
本研究提出了利用变分神经机器翻译(VNMT)框架来改进翻译准确性,通过引入潜在的随机变量模拟源语句和目标翻译的生成,并针对目前 Transformer 的不足进行改进,实现了在域内和域外条件下显著优于强基线的效果。
May, 2020
本篇论文提出了一种基于交叉学习的半监督学习算法,其中使用了背译和变分自编码器以及分类重参技巧来提高机器翻译的质量。
Feb, 2022
介绍了生成神经机器翻译(GNMT)的概念,通过添加潜在变量提高翻译模型的语义建模能力,从而实现跨语言翻译,半监督学习以及降低过拟合的效果。
Jun, 2018
分析神经机器翻译的性能,研究了两种模型:RNN 编码器 - 解码器和新提出的门控递归卷积神经网络,结果显示神经机器翻译在翻译较短,不含生词句子时表现相对良好,但随着句子长度和生词数的增加,其性能会迅速降低。同时发现,所提出的门控递归卷积网络能够自动学习句子的语法结构。
Sep, 2014