神经机器翻译的多通道编码器

AAAIDec, 2017

Multi-channel Encoder for Neural Machine Translation

Hao Xiong, Zhongjun He, Xiaoguang Hu, Hua Wu

TL;DRMulti-channel Encoder is proposed to improve Attention-based Encoder-Decoder architecture for neural machine translation by enhancing encoding components with different levels of composition, achieving a 6.52 BLEU point improvement on Chinese-English translation and BLEU=38.8 on the WMT14 English-French task.

Abstract

attention-based encoder-decoder has the effective architecture for neural machine translation (NMT), which typically relies on recurrent neural networks (RNN) to build the blocks that will be lately called by attentive reader during the decoding process. This design of encoder yields r

attention-based encoder-decoder neural machine translation multi-channel encoder encoding components bleu points

发现论文，激发创造

利用深度表示进行神经机器翻译

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

基于通用编解码器的多语言神经机器翻译探索

本研究介绍了一种使用统一方法构建多语言神经机器翻译框架的方法，不需要对网络架构进行特殊处理，能在标准训练方式下学习最少数量的自由参数，在资源匮乏的翻译场景中表现出显著的效果，同时在源语言和目标语言之间没有直接平行语料库的翻译任务中也具有有趣和有前途的结果。

Nov, 2016

神经机器翻译的异步双向解码

本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

Jan, 2018

神经机器翻译卷积编码器模型

本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

Nov, 2016

神经机器翻译的性质：编码器 - 解码器方法

分析神经机器翻译的性能，研究了两种模型：RNN 编码器 - 解码器和新提出的门控递归卷积神经网络，结果显示神经机器翻译在翻译较短，不含生词句子时表现相对良好，但随着句子长度和生词数的增加，其性能会迅速降低。同时发现，所提出的门控递归卷积网络能够自动学习句子的语法结构。

Sep, 2014

具有语言无关注意力桥接的多语言 NMT

本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。

Nov, 2018

利用语法感知编码器和解码器实现改进的神经机器翻译

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

神经机器翻译中的增强记忆解码器

通过使用外部内存来增强神经机器翻译中 RNN 解码器的性能，我们提出了一种名为 MemDec 的基于内容寻址的 RNN 解码器。通过在汉英翻译任务中的实证研究，我们发现 MemDec 相对于 Groundhog 和 Moses，可以提高 4.8 和 5.3 BLEU 分数，从而在相同的训练集上获得最佳性能。

Jun, 2016

多模态神经机器翻译中的双重注意力解码器

我们引入了一种多模态神经机器翻译模型，其中双重注意力解码器自然地整合了使用预先训练的卷积神经网络获取的空间视觉特征，弥合了图像描述和翻译之间的差距。我们的解码器通过两个独立的注意机制在生成目标语言单词时独立地关注源语言单词和图像的部分。我们发现我们的模型不仅可以高效地利用反向翻译的域内多模态数据，还可以利用大规模的通用领域文本翻译语料库。我们还在 Multi30k 数据集上报告了最先进的结果。

Feb, 2017

简化神经机器翻译：以无编码器模型为例

本文探讨神经机器翻译 (NMT) 的简化与编码器自由的 NMT 模型。研究结果指出，在编码器自由的模型中，注意力机制作为强特征提取器，并且源表示不可缺少，但词嵌入在编码器自由的模型中是有竞争力的。此外，编码器自由的模型对德英和中英的对齐质量具有不同影响。

Jul, 2019