简化神经机器翻译：以无编码器模型为例

Jul, 2019

简化神经机器翻译：以无编码器模型为例

Understanding Neural Machine Translation by Simplification: The Case of Encoder-free Models

Gongbo Tang, Rico Sennrich, Joakim Nivre

TL;DR本文探讨神经机器翻译 (NMT) 的简化与编码器自由的 NMT 模型。研究结果指出，在编码器自由的模型中，注意力机制作为强特征提取器，并且源表示不可缺少，但词嵌入在编码器自由的模型中是有竞争力的。此外，编码器自由的模型对德英和中英的对齐质量具有不同影响。

Abstract

In this paper, we try to understand neural machine translation (NMT) via simplifying nmt architectures and training encoder-free NMT models. In an encoder-free model, the sums of word embeddings and positional em

neural machine translation nmt architectures encoder-free models attention mechanisms source representation

发现论文，激发创造

利用语法感知编码器和解码器实现改进的神经机器翻译

本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

Jul, 2017

语言模型是优秀的翻译器

该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

Jun, 2021

无需关注

介绍了一种不需要注意力机制、没有分开的编码器和解码器的循环神经翻译模型，它是低延迟的，能在读取第一个源标记时立即写入目标标记，并在解码期间保持常量内存使用率。它的性能与 Bahdanau 等人（2014）的标准注意力模型相当，对于长句子表现更优。

Oct, 2018

利用深度表示进行神经机器翻译

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

神经机器翻译的异步双向解码

本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

Jan, 2018

神经机器翻译中编码器 - 解码器是否冗余？

本研究探讨了将源文本和目标文本直接拼接并训练语言模型进行翻译的想法，通过对双语翻译、额外目标语单语数据翻译和多语言翻译的实验，结果表明这种替代方法与基线中的编码器 - 解码器 Transformer 模型表现相当，表明编码器 - 解码器架构对于神经机器翻译可能是多余的。

Oct, 2022

基于通用编解码器的多语言神经机器翻译探索

本研究介绍了一种使用统一方法构建多语言神经机器翻译框架的方法，不需要对网络架构进行特殊处理，能在标准训练方式下学习最少数量的自由参数，在资源匮乏的翻译场景中表现出显著的效果，同时在源语言和目标语言之间没有直接平行语料库的翻译任务中也具有有趣和有前途的结果。

Nov, 2016

编码器帮助神经机器翻译消除词义歧义

本文探讨了 NMT 编码器和解码器通过评估隐藏状态和研究自我关注的分布来消歧义词义的能力。通过训练分类器并研究注意权重和注重熵，发现编码器的隐藏状态显著优于单词嵌入，并且自我关注能够检测到模糊不清的名词并将更多注意力分配给上下文。

Aug, 2019

神经机器翻译的多通道编码器

Multi-channel Encoder is proposed to improve Attention-based Encoder-Decoder architecture for neural machine translation by enhancing encoding components with different levels of composition, achieving a 6.52 BLEU point improvement on Chinese-English translation and BLEU=38.8 on the WMT14 English-French task.

Dec, 2017

共享权重的无监督神经机器翻译

通过使用两个独立的编码器和局部 GAN、全局 GAN，以提高跨语言翻译，本文通过无监督神经机器翻译方法显著提高了英德，英法和中英翻译任务的效果。

Apr, 2018