ACLMay, 2020

神经机器翻译的硬编码高斯注意力

PDF
TL;DR本论文探讨了 Transformer 的多头注意力对于实现高质量翻译的重要性，并基于此开发了一种无需任何学习参数的 ' 硬编码 ' 注意力变量。替换编码器和解码器中所有学习自注意力头部与固定、与输入无关的高斯分布最小程度影响四个不同语言对的 BLEU 得分，但额外硬编码交叉注意力 (将解码器与编码器连接) 会显著降低 BLEU，这提示它比自注意力更重要。通过在仅有一个基于硬编码 Transformer 中添加一个学习交叉注意头部可弥补大部分 BLEU 下降。综合结果揭示了 Transformer 的哪些组件实际上是重要的，这将有助于引导未来工作开发更简单、更高效的基于注意力的模型。
transformermulti-headed attentiontranslation qualityencoderdecoder
发现论文，激发创造
  • 基于 Transformer 的机器翻译中固定编码器自注意力模式

    使用简单固定的关注模式替换 Transformer 中编码器层的大多数注意力头对神经机器翻译的质量没有影响，并且在资源匮乏的情况下，甚至可以将 BLEU 评分提高 3 个点。

    Feb, 2020

  • 分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

    研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

    May, 2019

  • 跨注意力就是你所需要的：将预训练变换器应用于机器翻译

    本研究探讨 Transformer 架构中交叉注意力在机器翻译领域迁移学习中的能力，并在从头开始训练的情况下扩展交叉注意力的研究结果，结果显示细调整仅交叉注意力参数与细调整所有参数（即整个翻译模型）的效果相似， 细节说明为什么这是这种情况，并且发现以这种方式限制细调整可以产生交叉语言嵌入。研究结果可以用于减轻灾难性遗忘，实现零 - shot 翻译，并将机器翻译模型扩展到多个新语言对，减轻参数存储开销。

    Apr, 2021

  • 注意力全是你需要的

    本文提出一种基于注意力机制的 Transformer 模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得 BLEU 评分得以显著提高，并成功将该模型应用于英语句法分析等任务。

    Jun, 2017

  • 多语言神经机器翻译模型是否包含特定于语言的注意力头？

    通过对 NMT 模型的多个语言对进行实验，本文发现在自我关注和编码器解码器注意头方面的注意力头是对于特定的语言对的翻译比其他更加具有特定性，可以通过指标去评估其注意力权重的一些方面，同时还可以通过评估注意力头相对于翻译质量的重要性来对其进行系统排名，并发现最重要的注意力头在各种语言对中非常相似且几乎可以删除不那么重要的注意头而不严重影响翻译质量。

    May, 2021

  • 使用透明化注意力训练更深层的神经机器翻译模型

    本篇研究旨在通过对注意机制做出简单修改以训练深度 NMT 模型，我们尝试通过训练深度 Transformer 和 Bi-RNN 编码器来提高机器翻译的质量，结果在 WMT'14 英德和 WMT'15 捷英任务上均取得了 0.7-1.1 的 BLEU 提升。

    Aug, 2018

  • 具有局部约束的源目标自注意力

    本论文提出了一种基于 transformer 模型的新型神经机器翻译架构，采用自注意力机制加局部约束对 attention 接受场进行改进，实现了在多个翻译基准数据集上的最新 BLEU 最优结果。

    May, 2019

  • Transformer 模型的轻松注意力

    本文通过实验表明，构建基于 relaxed attention 的 transformer 架构，可以通过抑制自动回归 transformer 解码器的内部语言模型，实现有效地整合外部语言模型，并且提高了通用 transformer 架构的正则化能力。

    Sep, 2022

  • 多头注意力的优化和泛化

    使用多头自注意力机制，经过一定的初始条件和训练，可以优化和推广 Transformer 模型的核心机制，获得收敛和泛化保证。

    Oct, 2023

  • 机器翻译加权变形器网络

    本篇论文提出基于注意力机制的神经机器翻译新架构，采用自注意力和前馈神经网络层来避免递归和卷积，但是需要大量的参数和训练才能收敛。同时又提出了加权 Transformer 模型，通过修改注意力层架构，更快地提高 BLEU 得分表现，同时在英译德和英译法机器翻译任务中表现最优。

    Nov, 2017