Jan, 2016

基于注意力机制的编码 - 解码 NMT 模型中的隐式失真和繁殖模型

PDF
TL;DR本文研究了采用注意力机制的编码器 - 解码器模型在机器翻译中的应用，发现当对齐不正确时，对翻译质量有明显影响。针对这些问题，提出了采用变形模型和受精度模型的新型方法，并在机器翻译中与其他模型进行了比较。该方法在原有的编码器 - 解码器基础上提高了 2BLEU 分数。
发现论文，激发创造
  • 将结构对齐偏置纳入一种注意力神经翻译模型

    本文通过结合词汇调整模型，位置偏差，马尔科夫和翻译方向的一致性等多种结构偏差因子，扩展了注意力神经翻译模型，相比基线模型和标准短语模型在多种语言对中取得了提升，验证了在低资源环境中的有效性。

    Jan, 2016

  • 神经机器翻译编解码模型的校准

    本文研究了几种基于注意力编码器 - 解码器模型的最新神经机器翻译 (NMT) 系统的校准。我们表明，大多数现代 NMT 模型即使在给定真正的先前标记的情况下，其校准水平也惊人地失准。 探讨了失误的两个原因：EOS 和注意力不确定性的严重失校。 基于这些信号，我们设计了重新校准方法，并展示了提高的准确性、更好的序列级校准和更直观的 beam-search 结果。

    Mar, 2019

  • 神经机器翻译的交互式注意力

    本研究提出了一种名为 INTERACTIVE ATTENTION 的注意力机制，可以通过读写操作来建模解码器与源句子表示之间的交互，从而跟踪交互历史并提高翻译效果，实验结果表明，与基线和某些注意力机制的改进相比，使用 INTERACTIVE ATTENTION 的神经机器翻译系统可以在多个测试数据集上平均优于开源的 attention-based NMT 系统 Groundhog 4.22 BLEU 分数和开源短语 - based 系统 Moses 3.94 BLEU 分数。

    Oct, 2016

  • 多模态注意力神经机器翻译

    本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

    Sep, 2016

  • 注意力全是你需要的

    本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

    Jun, 2017

  • 神经机器翻译的时间注意模型

    本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

    Aug, 2016

  • 使用透明化注意力训练更深层的神经机器翻译模型

    本篇研究旨在通过对注意机制做出简单修改以训练深度 NMT 模型，我们尝试通过训练深度 Transformer 和 Bi-RNN 编码器来提高机器翻译的质量，结果在 WMT'14 英德和 WMT'15 捷英任务上均取得了 0.7-1.1 的 BLEU 提升。

    Aug, 2018

  • 神经机器翻译的异步双向解码

    本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

    Jan, 2018

  • 带有受监督注意力的神经机器翻译

    本论文研究了注意力机制在神经机器翻译中生成对齐的问题，并从重新排序方面分析和解释了这个问题。提出了一种受传统对齐模型指导学习的监督注意力机制，实验表明，这种机制比标准注意力机制产生更好的对齐效果，并且在中英文翻译任务中均有显著提高。

    Sep, 2016

  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016