Sep, 2022

基于 Conformer 的自注意力头多样性分析

PDF
TL;DR本文研究了多头注意力机制在端到端自动语音识别系统中的应用，通过分析多个注意头之间的差异并探究不同的训练方法来提高多头之间的多样性，得出使用促进多头注意头多样性的辅助损失函数更有效，并在 Librispeech 数据集上实现了高达 6% 的相对语音识别准确率提升。
attention layersmulti-headed attentiondiversity-promotingtraining loss functionsspeech recognition
发现论文，激发创造
  • 多头注意力的优化和泛化

    使用多头自注意力机制，经过一定的初始条件和训练，可以优化和推广 Transformer 模型的核心机制，获得收敛和泛化保证。

    Oct, 2023

  • 分析多头自注意力：专门的头部承担重任，其余部分可被剪枝

    研究了 Transformer 模型中的多头自注意力和编码器在神经机器翻译中的贡献和作用，提出了一种基于随机门和可微松弛 L0 正则化的新型剪枝方法，在不严重影响性能的情况下，成功删除了大部分注意头。

    May, 2019

  • 通过操作多头注意力生成多样化翻译

    本文研究 Transform 模型在机器翻译中的应用，探讨其编码器 - 解码器多头注意力机制中，不同注意力头与翻译候选词的对应关系，提出一种操控头以生成多样化翻译的方法，并利用这些多样化翻译进行后向翻译以改进数据增强技术，并且不会严重降低翻译质量。实验结果表明，与这些多样化翻译的后向翻译可以显著提高翻译任务的性能，与之相关的对话响应生成任务的实验也验证了多样化的效果。

    Nov, 2019

  • 十六个头真的比一个好吗？

    本研究表明，即使使用多重头部训练模型，实质上也可以在测试时间删除大量的注意力头而不会对性能产生显著影响，可以通过剪枝算法进一步降低模型的复杂度、提高速度和内存效率，并提供关于哪些模型部分更依赖于多头注意力的初步证据，并发现训练动态在多头注意力带来的收益中扮演着重要角色。

    May, 2019

  • 多头注意力：合作而非串联

    该论文提出了一种协作式多头注意力层，该方法通过共享 key/query 投影来降低注意力层中参数的数量，可以用于任何变压器体系结构，并对语言理解、机器翻译和计算机视觉方面进行了验证和实验，并可将预训练的多头注意力层重新参数化为协同注意力层，使 key 和 query 投影的大小减小了 4 倍，而准确性和速度保持不变。

    Jun, 2020

  • 挑选未充分利用的头部：关注网络修剪对于融合对话指代信息的头部选择的视角

    通过网络修剪的角度，研究了一种特征注入的注意头选择和操作策略，并在对话摘要中进行了案例研究，结果表明通过注意头操作注入指代关系信息可以提高对话摘要的性能。

    Dec, 2023

  • Multiformer：基于可配置头部的 Transformer 模型的直接语音翻译

    本文提出了一种基于 Transformer 的新模型 Multiformer，它可以根据任务需要在不同的头上应用不同的注意力机制，从而有力地解决了长序列和相邻 token 冗余等问题。同时，我们发现各头权重分布均匀的模型可以取得更好的效果。

    May, 2022

  • 缓解神经机器翻译中注意力头不平等

    本篇论文研究表明 Transformer 中的注意力头并不相等，为解决这个问题，提出了 HeadMask 方法，在多个语言对中实现了翻译改进。

    Sep, 2020

  • 可微分的 Transformer 头部子集剪枝

    本文提出了一种可微的子集剪枝技术，通过学习每个头的重要性变量并对未剪枝的头数施加用户指定的硬约束，实现对多头注意力机制的剪枝；实验证明该技术可以实现精确控制稀疏度水平，并在自然语言推理和机器翻译方面的表现不亚于以往技术。

    Aug, 2021

  • 多头注意力的支柱寻找

    本文提出了使用最小冗余特征选择的思想，通过聚焦于最具代表性和独特性的特征，采用自监督群组约束进行训练的 Grouped Head Attention 模型，以及通过投票去除冗余头部来实现更有效和高效的多头自注意力模型。实验结果表明，该方法在三个基准任务上显著提高性能的同时，压缩参数。

    May, 2023