ACLSep, 2017

神经机器翻译的自注意力残差解码器

PDF
TL;DR提出一种基于目标端注意力残差循环网络的神经序列到序列网络，能够更好地捕捉非连续依赖关系以及通过关注机制获得更广泛的上下文信息，从而在机器翻译任务中取得了较好的效果。
neural sequence-to-sequence networksattention mechanismtarget-side-attentive residual recurrent networkmachine translationsyntactic-like structures
发现论文，激发创造
  • 基于循环注意力模型的神经机器翻译

    通过使用一个循环网络来明确地建模词语先前和随后的注意力水平之间的关系，我们改进了 Bahdanau 等人（2014）的注意力模型，并且我们的参数化注意力模型的实验表明其可以提高翻译质量。

    Jul, 2016

  • 神经机器翻译的异步双向解码

    本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

    Jan, 2018

  • 基于反卷积的全局解码神经机器翻译

    提出了一种新的神经机器翻译模型，利用目标序列上下文的结构预测来引导翻译，从而使之摆脱顺序约束，实现了重复减少和跨长度翻译的鲁棒性，相较于当前最优方法有着更为优越的效果表现。

    Jun, 2018

  • 具有局部约束的源目标自注意力

    本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

    May, 2019

  • 自注意力机制的优势：神经机器翻译结构的定向评估

    本文探讨了卷积网络、自注意力网络和循环神经网络在神经机器翻译中的表现。研究发现，自注意力网络和卷积网络在语义特征提取方面表现更好，但在长距离依赖性分析中没有超越循环神经网络。

    Aug, 2018

  • 神经机器翻译的时间注意模型

    本文介绍了一种基于注意力机制的神经机器翻译模型，该模型通过暂时性存储对齐信息和调节注意力值的方法，提高了翻译效果， 在两种语言对上的大规模实验中，该方法不仅超越了基线 NMT 模型，还比其他相关方法表现更出色，甚至有些情况下在不使用集成的情况下也能胜过 SMT 基准。

    Aug, 2016

  • 利用目标端上下文来提高上下文感知的神经机器翻译

    本文研究使用多编码器和两个注意力机制以读取当前和先前句子以融入上下文的神经机器翻译（NMT）的文档级上下文问题，提出了一种权重共享方法，并得出结论，当在 NMT 中作为解码器状态插入目标端上下文时，目标端上下文也是有用的。

    Sep, 2019

  • 神经机器翻译中生成的前瞻注意力

    该论文提出了一种新型的前瞻性注意机制，旨在直接捕捉目标单词之间的依存关系。实验表明，该前瞻性注意机制在机器翻译任务上取得了显著的改进。

    Aug, 2017

  • Transformer 循环建模

    研究表明，Transformer 模型虽然仅基于注意力机制，但缺乏循环机制限制了其翻译能力的提高，本文提出使用一个额外的循环编码器来直接建模循环，并引入一种新的注意力循环网络来结合注意力和循环网络的优点，在 WMT14 英汉和 WMT17 中英机器翻译任务中取得了良好的表现，研究同时发现通过一个单循环层将源序列和目标序列相连可以显著提高模型性能。

    Apr, 2019

  • 评估序列到序列模型在手写文本识别中的应用

    该研究提出了一种基于注意力机制的序列到序列模型用于手写体识别，其中结合了卷积神经网络进行视觉信息的提取，实验结果表明其相比于最近的序列到序列方法取得了显著提升。

    Mar, 2019