ACLNov, 2017

神经机器翻译的过去与未来建模

PDF
TL;DR我们提出了一种新的机制来将源信息分成已翻译的过去内容和未翻译的未来内容，并使用两个附加的循环层对其进行建模，从而为神经机器翻译系统提供已翻译和未翻译内容的知识，实验结果表明，该方法显著改善了中英、德英和英德翻译任务的翻译性能，具体来说，该模型在翻译质量和对齐误差率方面优于传统的覆盖模型。
neural machine translationdecodingrecurrent layersattention modeltranslation performance
发现论文，激发创造
  • 神经机器翻译的动态过去和未来

    本研究探讨了神经机器翻译模型中引入 Translated 和 Untranslated 内容组的方法，并通过一种称为 Guided Dynamic Routing 的新型路由协议来学习它们，使得翻译能够在全局上最优化。实验证明，这种方法比 RNMT 和 Transformer 技术更为先进，能够识别 Translated 和 Untranslated 内容，具有高度的可解释性。

    Apr, 2019

  • 神经机器翻译的覆盖率建模

    本文提出基于 coverage 的 NMT 模型通过维护一个 coverage 向量来跟踪 Attention 历史信息，帮助调整未来 Attention，从而显著提高了传统 attention-based NMT 的翻译和对齐质量。

    Jan, 2016

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 神经机器翻译的异步双向解码

    本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

    Jan, 2018

  • 利用深度表示进行神经机器翻译

    本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

    Oct, 2018

  • 神经机器翻译的时间注意模型

    本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

    Aug, 2016

  • 基于重建的神经机器翻译

    通过添加 reconstructor 到 encoder-decoder 框架中，从输出的 target sentence 的隐藏层中重构输入的 source sentence，改善了神经机器翻译的可靠性和翻译质量。

    Nov, 2016

  • 学习解析和翻译改进神经机器翻译

    本文提出了一种名为 NMT+RNNG 的混合模型，它将循环神经网络语法与基于注意力的神经机器翻译相结合，通过训练鼓励神经机器翻译模型吸收语言先验知识，并在其后进行自主翻译。4 种语言配对的实验表明该模型非常有效。

    Feb, 2017

  • 神经机器翻译中生成的前瞻注意力

    该论文提出了一种新型的前瞻性注意机制，旨在直接捕捉目标单词之间的依存关系。实验表明，该前瞻性注意机制在机器翻译任务上取得了显著的改进。

    Aug, 2017

  • 动态融合：用于神经机器翻译的注意力语言模型

    该研究采用动态融合机制，将翻译模型和语言模型结合，提高了英日机器翻译的 BLEU 和 RIBES 得分，并允许符合适当语法结构的预测性语言建模。

    Sep, 2019