多语言神经机器翻译模型是否包含特定于语言的注意力头？

ACLMay, 2021

多语言神经机器翻译模型是否包含特定于语言的注意力头？

Do Multilingual Neural Machine Translation Models Contain Language Pair Specific Attention Heads?

Zae Myung Kim, Laurent Besacier, Vassilina Nikoulina, Didier Schwab

TL;DR通过对 NMT 模型的多个语言对进行实验，本文发现在自我关注和编码器解码器注意头方面的注意力头是对于特定的语言对的翻译比其他更加具有特定性，可以通过指标去评估其注意力权重的一些方面，同时还可以通过评估注意力头相对于翻译质量的重要性来对其进行系统排名，并发现最重要的注意力头在各种语言对中非常相似且几乎可以删除不那么重要的注意头而不严重影响翻译质量。

Abstract

Recent studies on the analysis of the multilingual representations focus on identifying whether there is an emergence of language-independent representations, or whether a multilingual model partitions its weights among different languages. While most of such work has been conducted in

multilingual representations neural translation model self-attention encoder-decoder attention heads translation quality

发现论文，激发创造

具有任务特定注意力机制的多语言神经机器翻译

我们提出了针对多种源语言和目标语言翻译的任务特定的注意力模型，旨在改进序列到序列神经机器翻译的质量。我们在欧洲议会语料库的四种语言上进行的实验表明，使用目标语言特定的注意力模型相对于参数共享模型提供了一致的翻译质量的提升，甚至在低资源的零 - shot 翻译方向上也观察到了翻译质量的改善。

Jun, 2018

分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

May, 2019

具有语言无关注意力桥接的多语言 NMT

本文提出了一种多语言编码器 - 解码器架构，其中包括一个中间的共享‘注意桥接层’，能够获取多语言句子代表。我们通过以一种我们称之为‘注意力桥’的共享层连接带有语言特定编码器和解码器的模型来训练，并展示了一种新的框架来高效实现多语言 NMT。在多重平行数据集中系统地测试了该方法，结果表明该模型能显著提高强度双语模型的性能，并且也可以用于零 - shot 翻译，展示了其抽象和转移学习的能力。

Nov, 2018

Transformer 注意力头在多语言和跨语言任务中的贡献

该论文研究了注意力头在 Transformer 模型中的相对重要性，以帮助其在跨语言和多语言任务中的可解释性。通过大量实验，证明了在多语言 Transformer 模型中修剪注意力头可以在跨语言和多语言任务中提高模型性能，并且可以使用梯度对注意头进行排序和识别。

Aug, 2021

使用共享注意机制的多路多语言神经机器翻译

提出了一种多路多语言的神经机器翻译方法，通过共享单个的注意力机制，仅线性地增加神经网络的参数数量即可实现多语言翻译，并成功地提高了低资源语言对的翻译质量。

Jan, 2016

缓解神经机器翻译中注意力头不平等

本篇论文研究表明 Transformer 中的注意力头并不相等，为解决这个问题，提出了 HeadMask 方法，在多个语言对中实现了翻译改进。

Sep, 2020

多语言机器翻译解析

本研究研究多语言机器翻译的训练，并发现多语言训练对 encoder 有益，而仅对低资源语言的 decoder 有益，提出了方法来改善性能。

Oct, 2021

多模态注意力神经机器翻译

本文将多模态注意力机制应用于图像字幕生成领域，通过在自然语言描述和图像上同时聚焦，实现了一种基于图像字幕的另一种语言描述生成方法，并在 Multi30k 数据集上取得了更好的效果。

Sep, 2016

Transformer NMT 中的注意力权重不能完全对齐序列中的单词，但在很大程度上解释了模型的预测

本文提出了关于 Transformer 网络在神经机器翻译（NMT）领域的广泛分析，重点关注编码器 - 解码器注意机制，证明了注意权重系统地通过依赖于源序列中的未知标记而产生对齐错误。我们提出了证据表明错误对齐对模型行为的影响，并证明了编码器 - 解码器注意机制作为 NMT 的可解释性方法。最后，基于我们的分析，我们提出了可以大大降低单词对齐错误率的方法，与从注意力权重中引导对齐的标准方法相比。

Sep, 2021

神经机器翻译中的注意力关注什么？

本研究提供详细分析和比较注意力和传统对齐，在一些情况下表明注意力不同于对齐且能捕捉除对齐以外的有用信息。

Oct, 2017