Jun, 2020

多头注意力：合作而非串联

PDF
TL;DR该论文提出了一种协作式多头注意力层，该方法通过共享 key/query 投影来降低注意力层中参数的数量，可以用于任何变压器体系结构，并对语言理解、机器翻译和计算机视觉方面进行了验证和实验，并可将预训练的多头注意力层重新参数化为协同注意力层，使 key 和 query 投影的大小减小了 4 倍，而准确性和速度保持不变。
attention layerstransformer modelsmulti-head attentionover-parameterizationre-parametrize
发现论文，激发创造
  • 十六个头真的比一个好吗？

    本研究表明，即使使用多重头部训练模型，实质上也可以在测试时间删除大量的注意力头而不会对性能产生显著影响，可以通过剪枝算法进一步降低模型的复杂度、提高速度和内存效率，并提供关于哪些模型部分更依赖于多头注意力的初步证据，并发现训练动态在多头注意力带来的收益中扮演着重要角色。

    May, 2019

  • 多头注意力的优化和泛化

    使用多头自注意力机制，经过一定的初始条件和训练，可以优化和推广 Transformer 模型的核心机制，获得收敛和泛化保证。

    Oct, 2023

  • 利用胶囊网络改进多头注意力

    本文利用胶囊网络对多头注意力中缺乏的不同子空间之间的语义重叠问题进行优化，通过采用动态路由和期望最大化算法进行信息聚类和分离，从而对汉英翻译和英德翻译任务的 Transformer 模型进行改进。

    Aug, 2019

  • 挑选未充分利用的头部：关注网络修剪对于融合对话指代信息的头部选择的视角

    通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

    Dec, 2023

  • 提高注意力的必要性

    我们引入了三种新的注意力机制，比标准的多头注意力在效率和学习能力方面表现更好，从而提高了 Transformer 模型的性能和广泛部署能力。我们的第一个贡献是优化的注意力，它在头部数量、参数数量和矩阵乘法数量上与标准注意力相近，但参数数量少了 3/4，每个头部少了一次矩阵乘法。接下来，我们介绍了高效的注意力，它在参数数量上只有标准注意力的一半，每个头部少了两次矩阵乘法，并且速度是标准注意力的两倍。最后，我们介绍了超级注意力，在视觉和自然语言处理任务中显著超过标准注意力，同时具有更少的参数和矩阵乘法。除了提供严谨的数学比较，我们还在 MNIST、CIFAR100、IMDB 电影评论和 Amazon 评论数据集上评估了所提出的注意力机制。

    Mar, 2024

  • Talking-Heads Attention

    本研究介绍了 “talking-heads attention”—— 多头注意力机制的一种变体，通过在 softmax 操作之前和之后在注意力头维度上进行线性投影，只需添加少量参数和计算即可在掩码语言建模任务中提高 困惑度，在迁移学习到语言理解和问题回答任务时，可以带来更好的质量。

    Mar, 2020

  • 快速 Transformer 解码：仅需要一个写头

    本文提出了一种多查询关注机制，使用这种机制可以降低增量解码的内存需求，并通过实验验证了这种关注机制可以使解码速度更快，同时只会导致较小的质量损失。

    Nov, 2019

  • 多头注意力模型中的低秩瓶颈

    本文提出了一种多头注意力机制的改进方法，将注意头的大小设置为输入序列长度，从而使注意机制的表达能力更强，能够在较小的嵌入维度下训练模型，并提高模型的性能。

    Feb, 2020

  • Transformer 注意力头在多语言和跨语言任务中的贡献

    该论文研究了注意力头在 Transformer 模型中的相对重要性，以帮助其在跨语言和多语言任务中的可解释性。通过大量实验，证明了在多语言 Transformer 模型中修剪注意力头可以在跨语言和多语言任务中提高模型性能，并且可以使用梯度对注意头进行排序和识别。

    Aug, 2021

  • 分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

    研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

    May, 2019