Jun, 2024

DHA：通过自适应头融合从 Transformer 检查点学习分离头注意力

PDF
TL;DR通过分析注意力冗余，设计了一种解耦式头部注意力机制（Decoupled-Head Attention，DHA），达到性能和效率之间的更好平衡，通过逐步线性融合类似头部参数来将 Multi-Head Attention（MHA）模型转换为 DHA 模型，实现了预训练预算的极大节约和高性能的平衡。
large language modelsmulti-head attentiondecoupled-head attentionperformanceefficiency
发现论文，激发创造
  • 通过动态组合的多头注意力机制改进 Transformer

    提出了一种动态可组合的多头注意力 (DCMHA) 架构，通过动态组合注意力头解决了多头注意力中的问题，并显著提升了模型的表达能力，达到了与具有大约 1.7-2.0 倍计算量的模型相当的性能水平。

    May, 2024

  • 对抗多头：利用注意力头嵌入实现高效参数的多头注意力

    我们提出了一种使用单个共享投影矩阵和多个头嵌入（MHE）的替代模块，实验证明我们的 MHE 关注机制在多个下游任务上显著提高了内存效率，并且相对于 MHA 仅需要可忽略的附加参数。

    Oct, 2023

  • GQA：从多头检查点训练广义多查询 Transformer 模型

    通过增加中间的键值头数目，我们提出了一种组合查询注意力 (GQA) 的方法，它是多查询注意力 (MQA) 的推广，能够实现训练速度和质量之间的平衡。

    May, 2023

  • 多头注意力的支柱寻找

    本文提出了使用最小冗余特征选择的思想，通过聚焦于最具代表性和独特性的特征，采用自监督群组约束进行训练的 Grouped Head Attention 模型，以及通过投票去除冗余头部来实现更有效和高效的多头自注意力模型。实验结果表明，该方法在三个基准任务上显著提高性能的同时，压缩参数。

    May, 2023

  • 混合 $h-1$ 个头比 $h$ 个头更好

    通过重新分配注意力头部，我们提出了一种混合专家模型（MAE），其利用分块协调下降算法对其进行训练，并在机器翻译任务和语言建模任务中表现出优异的性能。

    May, 2020

  • MDHA: 多尺度可变形变压器与混合锚点的多视角三维目标检测

    多视角 3D 目标检测是自动驾驶系统的重要组成部分，本文提出了一种名为 MDHA 的稀疏查询框架，使用多视角、多尺度输入构建自适应的 3D 输出提案，通过混合锚点的方式来解决数据集特定初始化和计算效率问题，并成功优于现有基线方法。

    Jun, 2024

  • 多头注意力：合作而非串联

    该论文提出了一种协作式多头注意力层，该方法通过共享 key/query 投影来降低注意力层中参数的数量，可以用于任何变压器体系结构，并对语言理解、机器翻译和计算机视觉方面进行了验证和实验，并可将预训练的多头注意力层重新参数化为协同注意力层，使 key 和 query 投影的大小减小了 4 倍，而准确性和速度保持不变。

    Jun, 2020

  • CHAI: 集群化头部注意力用于高效的 LLM 推断

    基于大型语言模型的多头注意力机制的高冗余性，提出了一种新的聚类头自注意力机制 (CHAI)，能够在运行时显著降低模型的存储和计算需求，从而减少内存需求 21.4% 和推理时间延迟最多 1.73 倍。

    Mar, 2024

  • 优化的分组查询注意机制用于变形金刚

    提出了一种激活信息驱动的方法 AsymGQA，将 MHA 不对称地分组为 GQA，并在模型性能方面取得了较好的表现。该方法解决了 GQA 在模型性能和硬件效能之间的权衡问题。

    Jun, 2024

  • LLM 中高效压缩 KV 头

    在本文中，我们探索了 Key-Value 缓存的低秩特性，并提出了一种压缩 Key-Value 头部的新方法，该方法在最小化压缩误差的同时保持与原始大语言模型相当的性能，为在资源受限环境中更高效的大语言模型部署提供了一种有前途的方向。

    Jun, 2024