AAAIFeb, 2020

联合表示的神经机器翻译

PDF
TL;DR本研究提出一种基于联合表示的神经机器翻译模型，通过提出的高效注意力机制对表示进行精细化处理，实现了新的序列到序列建模范式并在多项机器翻译任务中取得了更优结果，同时提出了系统的模型放大方法，成功将模型规模缩小 50%，同时取得更高的翻译品质。
neural machine translationsequence-to-sequence modellingattention operationreformer modelsystematic model scaling
发现论文，激发创造
  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 由统计机器翻译指导的神经机器翻译

    本文提出了将 SMT 模型融入 NMT 框架，通过辅助分类器和门函数来结合 SMT 的推荐和 NMT 的生成，从而提高中英翻译的性能。实验结果表明，该方法在多个测试集上均显著优于现有的 NMT 和 SMT 系统。

    Oct, 2016

  • 树到序列的注意力神经机器翻译

    本文提出了一种新的端对端句法神经机器翻译模型，在源端短语结构的基础上扩展了序列到序列模型，并引入了注意力机制，可以软对齐短语和源句子中的单词，实验结果表明，相比于序列到序列的注意力 NMT 模型，该模型表现显著提升，在 WAT'15 英日翻译数据集上，与当下最优秀的树到串翻译系统相比可媲美。

    Mar, 2016

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 神经系统组合机器翻译

    本文介绍了一种利用多源神经机器翻译和统计机器翻译输出的神经网络系统组合框架来提高翻译效果的方法，在中英翻译任务中实现了比传统系统组合方法更高的 BLEU 值。

    Apr, 2017

  • 可解释神经机器翻译的操作序列模型

    提出实现可解释的神经机器翻译（NMT）的方法，具体包括改变输出表示方式，提出新的 NMT 方案以通过源句子步进式走向生成目标句子，通过设定目标句子标记和移动目标端写入头来模拟单词重排序。与许多现代神经模型相比，我们的系统发出明确的单词对齐信息，可以提高可解释性。与最近的变压器架构在日英和葡英上相比，我们的技术可以在 BLEU 得分方面优于普通文本系统，并且在西班牙 - 英语上的 BLEU 得分相差不到 0.5。

    Aug, 2018

  • 神经机器翻译的显式重排序

    本文介绍了如何使用双语平行数据集来模拟目标语序，在改进了位置编码机制的基础上，提出了一种新的序列重排序方法来显式地模拟源语句子的重排序信息，同时实验证明，该方法在多种翻译任务中均有效。

    Apr, 2020

  • 具有局部约束的源目标自注意力

    本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

    May, 2019

  • 利用基于短语的模型在混合搜索中进行神经机器翻译

    本文介绍了一种混合搜索的关注机制神经机器翻译模型，该模型使用机器翻译模型和短语级翻译概率等特征来实现目标短语的波束搜索，结果显示与强 NMT 基准模型相比，使用短语模型搜索可以将机器翻译质量提高达到 2.3% 的 BLEU 绝对值的效果。

    Aug, 2017