ACLMay, 2020

变分神经机器翻译与正则化流

PDF
TL;DR本研究提出了利用变分神经机器翻译（VNMT）框架来改进翻译准确性，通过引入潜在的随机变量模拟源语句和目标翻译的生成，并针对目前 Transformer 的不足进行改进，实现了在域内和域外条件下显著优于强基线的效果。
variational neural machine translationlatent variablestransformerapproximate posteriortranslation accuracy
发现论文，激发创造
  • 变分循环神经机器翻译

    本文提出了一种新颖的变分递归神经机器翻译（VRNMT）模型，该模型引入了一系列潜在随机变量以发挥生成效果，这些变量是通过变分自编码器获得的，并且在 NMT 解码器的隐藏状态中包含。使用神经后验近似器和重参数化技术，该模型在汉英和英德翻译任务上实验，取得显着的性能提升。

    Jan, 2018

  • 用于无监督机器翻译的流式适配器架构

    本文提出了一种基于 normalizing flows 的流适配器框架，用于无监督的 NMT，可以将每种语言单独训练，具有语言特定的句子表示和简单的转换机制，通过有监督 MT 以及正常流来捕捉潜变量，获得了相当不错的性能表现。

    Apr, 2022

  • 变分神经机器翻译

    本文提出了一种变分神经机器翻译编码器 - 解码器模型，引入了一个连续潜变量来明确建模源句子的潜在语义并引导目标翻译的生成，通过神经后验估计技术对该模型进行训练，在中英文和英德翻译任务中实现了显著的性能提升。

    May, 2016

  • 条件变分自编码器用于神经机器翻译

    探讨使用潜变量模型实现神经机器翻译中的条件文本生成性能，通过引入连续潜变量来增强编码器 - 解码器 NMT 范例，利用 Inference Network 中的共同关注机制来扩展该模型，使用不同方法试图缓解后验崩溃问题，并且探究学习潜空间的能力，该模型能有效地优化翻译模型。

    Dec, 2018

  • 自编码变分神经机器翻译

    我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译，能够通过共享的潜在表示联合生成源语言句子和目标语言句子，并使用摊余变分推断和重参数化梯度进行高效的训练，可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模（即标准神经机器翻译）更好的性能。同时，我们讨论了联合建模的统计学意义，并提出了一种高效的近似方法来进行最大后验解码，以便在测试时进行快速预测。

    Jul, 2018

  • 卷积归一化流

    该研究论文介绍了一种基于神经网络和正则化流的灵活变分后验分布逼近方法，提出了一种名为 ConvFlow 的新型正则化流方法，并证明了其在合成和实际问题中的有效性和效率。

    Nov, 2017

  • 生成式神经机器翻译

    介绍了生成神经机器翻译（GNMT）的概念，通过添加潜在变量提高翻译模型的语义建模能力，从而实现跨语言翻译，半监督学习以及降低过拟合的效果。

    Jun, 2018

  • 可变贝叶斯神经网络的乘法归一化流

    本文将神经网络中的乘性噪声重新解释为辅助的随机变量，并将其引入贝叶斯神经网络的变分设置中。通过使用这种解释，我们展示了通过采用标准化流来改进近似后验估计的高效性和简单性，同时仍允许局部重新参数化和可计算较低的下界。通过实验证明，基于这种新近似方法的贝叶斯神经网络方法在预测准确性和不确定性方面都有显著提高。

    Mar, 2017

  • 非自回归神经机器翻译中两种语言共享的潜在空间

    本研究提出一种新的潜变量建模方法，名为 LadderNMT，并通过在非自回归神经机器翻译中的实验结果展示了其在跨语言翻译任务中显著提高翻译质量的优势。该方法基于双重重建视角和先进的分层潜变量建模方法，共享两种语言的潜空间，以减轻或解决了以前方法中存在的多模态问题，参数过多，无法获取全部输入信息的缺点。

    May, 2023

  • 离散序列的潜在正则化流

    提出了一种基于 VAE 的生成模型，该模型联合训练了基于正则化流的潜在空间分布和到观察到的离散空间的随机映射，解决了直接对离散序列应用正则化流所面临的挑战，并具有可比拟的性能和流灵活性。

    Jan, 2019