具有语言无关注意力桥接的多语言 NMT

Nov, 2018

具有语言无关注意力桥接的多语言 NMT

Multilingual NMT with a language-independent attention bridge

Raúl Vázquez, Alessandro Raganato, Jörg Tiedemann, Mathias Creutz

TL;DR本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。

Abstract

In this paper, we propose a multilingual encoder-decoder architecture capable of obtaining multilingual sentence representations by means

multilingual encoder-decoder architecture attention bridge translation transfer learning

发现论文，激发创造

基于通用编解码器的多语言神经机器翻译探索

本研究介绍了一种使用统一方法构建多语言神经机器翻译框架的方法，不需要对网络架构进行特殊处理，能在标准训练方式下学习最少数量的自由参数，在资源匮乏的翻译场景中表现出显著的效果，同时在源语言和目标语言之间没有直接平行语料库的翻译任务中也具有有趣和有前途的结果。

Nov, 2016

具有任务特定注意力机制的多语言神经机器翻译

我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - shot 翻译方向上也观察到了翻译质量的改善。

Jun, 2018

使用共享注意机制的多路多语言神经机器翻译

提出了一种多路多语言的神经机器翻译方法，通过共享单个的注意力机制，仅线性地增加神经网络的参数数量即可实现多语言翻译，并成功地提高了低资源语言对的翻译质量。

Jan, 2016

多语言机器翻译的神经国际语

本研究将显式神经间语纳入多语言编码 - 解码神经机器翻译（NMT）体系结构中，证明该模型通过直接零 - shot 翻译（不使用中转翻译）并使用源语句嵌入来创建英语 Yelp 评论分类器，该分类器能够通过神经间语协调法也对法语和德语评论进行分类，并且即使我们使用的参数数量比成对的 NMT 模型集合少，但我们的方法对于 WMT15 中的每个语言对产生了相当的 BLEU 得分。

Apr, 2018

多模态注意力神经机器翻译

本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

Sep, 2016

利用深度表示进行神经机器翻译

本文提出了一种新的神经机器翻译方法，采用层聚合和多层注意力机制，通过引入辅助正则化项促进不同层捕获多样化信息，实验结果表明该方法在 WMT14 英德和 WMT17 中英数据上具有普适性与有效性。

Oct, 2018

Google 的多语言神经机器翻译系统：实现零样本翻译

该研究提出一种简单的解决方案，使用单个神经机器翻译模型在多种语言之间进行翻译，并且通过在输入句子的开头引入人工标记来指定所需的目标语言，这种方法不需要更改模型框架，该模型的剩余组件包括编码器、解码器和注意力是不变的，并共享所有语言。我们的方法使用共享的词块词汇表，不需要增加任何参数，在保持模型参数总数恒定的情况下，还经常提高所有涉及的语言对的翻译质量，甚至可以在训练期间从未看到的语言对之间进行隐式桥接，因此，我们的翻译模型不限于训练时的语言对，具有一定的通用性和迁移能力。

Nov, 2016

神经机器翻译的异步双向解码

本文提出了一种基于双向解码器的神经机器翻译模型，其中正向解码器按原有的方法工作，但加入了逆向解码器，以利用源语言和目标语言的双向信息，从而提高翻译质量。实验结果表明，该模型在中英文和英德文翻译任务上均能够显著提高 NMT 的效果。

Jan, 2018

基于语言特定编码器解码器的零样本神经机器翻译改进

本文介绍了一种利用语言特定的编码器 - 解码器完成零样本翻译的方法。通过区分语言特定的 Transformer 层和公共层，应用交叉注意力和参数共享等技术，最大化句子的普适性，以实现最佳的语义对齐，此外结合了自编码目标来实现多任务的联合训练。在两个公共的多语言平行数据集上进行实验，它们的结果具有竞争力，而且相当于从头开始联合训练模型时的结果，还表现出增量学习的能力。

Feb, 2021

多语言神经机器翻译模型是否包含特定于语言的注意力头？

通过对 NMT 模型的多个语言对进行实验，本文发现在自我关注和编码器解码器注意头方面的注意力头是对于特定的语言对的翻译比其他更加具有特定性，可以通过指标去评估其注意力权重的一些方面，同时还可以通过评估注意力头相对于翻译质量的重要性来对其进行系统排名，并发现最重要的注意力头在各种语言对中非常相似且几乎可以删除不那么重要的注意头而不严重影响翻译质量。

May, 2021