Jan, 2016

互信息和多样性解码改进神经机器翻译

PDF
TL;DR本文介绍了一种基于相互信息最大化的神经机器翻译模型，该模型使用一种简单的重新排序方法和一种增加 N-best 列表多样性的解码算法，应用于 WMT 德英和法英任务中，该模型能够在标准 LSTM 和基于注意力的神经机器翻译体系结构上提供持续的性能提升。
neural mtmutual informationsequence-to-sequencesource-target dependencydecoding algorithm
发现论文，激发创造
  • 基于双语互信息的自适应神经机器翻译训练

    本文提出了一种新的双语互信息（BMI）自适应目标函数，通过从双语视角度量每个目标单词的学习难度并相应地分配自适应权重来改进基于令牌级别的自适应训练，实验结果表明与变压器基线和以前的令牌级别自适应训练方法相比，本方法优越性明显，并能够改善词汇多样性。

    May, 2021

  • 联合学习对齐和翻译的神经机器翻译

    本文旨在解决传统编码器 - 解码器架构中的长度固定向量制约所面临的性能瓶颈，并提出一种基于（软）搜索方式的新方法，在英法翻译任务中获得了与基于短语的模型相当的翻译性能，且（软）对齐结果与人类直觉相符。

    Sep, 2014

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 自编码变分神经机器翻译

    我们提出了一种基于神经网络的双语句子对深度生成模型来进行机器翻译，能够通过共享的潜在表示联合生成源语言句子和目标语言句子，并使用摊余变分推断和重参数化梯度进行高效的训练，可以在领域内、混合领域数据、金标准和合成数据混合学习等各种情况下显示出比条件建模（即标准神经机器翻译）更好的性能。同时，我们讨论了联合建模的统计学意义，并提出了一种高效的近似方法来进行最大后验解码，以便在测试时进行快速预测。

    Jul, 2018

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018

  • 具有局部约束的源目标自注意力

    本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

    May, 2019

  • 神经机器翻译的过去与未来建模

    我们提出了一种新的机制来将源信息分成已翻译的过去内容和未翻译的未来内容，并使用两个附加的循环层对其进行建模，从而为神经机器翻译系统提供已翻译和未翻译内容的知识，实验结果表明，该方法显著改善了中英、德英和英德翻译任务的翻译性能，具体来说，该模型在翻译质量和对齐误差率方面优于传统的覆盖模型。

    Nov, 2017

  • 通过对比增强上下文

    通过最大化巴洛双生损失来提高神经机器翻译性能，从而得到含义丰富的表示，并通过语言分类和与最先进的方法进行对比，评估我们表示的语言无关性。

    Jan, 2024

  • 多源神经翻译

    使用多源机器翻译模型，以神经编码器 - 解码器框架为基础，探究多种组合方法并在非常强的基于注意力机制的神经翻译模型上获得了高达 + 4.8 的 Bleu 增益。

    Jan, 2016

  • 利用单语数据进行神经机器翻译模型的联合训练

    本文提出了一种新方法，通过联合 EM 优化方法融合源语言和目标语言的神经机器翻译模型，以更好地利用单语数据来提高翻译质量，实验结果表明，相对于使用单语数据训练的强基线系统，该方法可以同时提高源到目标和目标到源模型的翻译质量。

    Mar, 2018