Nov, 2023

GQKVA: 通过分组查询、键和值高效预训练 Transformer

PDF
TL;DRGQKVA 是一种多功能方法，旨在加速 transformer 的预训练并减小模型大小，其实验结果表明 GQKVA 在图像分类任务中可以提高大约 0.3% 的准确度并减小约 4% 的模型大小。
transformer-based modelspre-traininggqkvamodel sizeimage classification
发现论文，激发创造
  • GQA：从多头检查点训练广义多查询 Transformer 模型

    通过增加中间的键值头数目，我们提出了一种组合查询注意力 (GQA) 的方法，它是多查询注意力 (MQA) 的推广，能够实现训练速度和质量之间的平衡。

    May, 2023

  • 使用跨层注意力减小 Transformer 键 - 值缓存大小

    使用交叉层注意力（CLA）设计可以进一步减小关键 - 值缓存的大小，而几乎保持与未修改 MQA 相同的准确性，在从头开始训练 1B 和 3B 参数模型的实验中证明 CLA 在内存 / 准确性权衡方面提供了帕累托改进，使得推断能处理比传统 MQA 更长的序列长度和更大的批次大小

    May, 2024

  • 键值变换器

    通过对 QKV 模式性能进行评估，我们发现一个结合了 2D 位置编码的不对称的 KV 变压器常常比 QKV 变压器更有效且需要更少的参数和计算。

    May, 2023

  • MLKV：用于内存高效 Transformer 解码的多层键值头

    通过多层键 - 值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。

    Jun, 2024

  • QCQA：质量和容量感知的分组查询注意力

    提出了一种考虑质量和能力的查询头分组的方法，用于在自回归大型语言模型推断中进行关键值缓存优化。该方法能够以较少的关键值缓存需求达到与其他方法相似的准确性，并且在细调后较其他方法具有较高的准确性。

    Jun, 2024

  • LLM 中高效压缩 KV 头

    在本文中，我们探索了 Key-Value 缓存的低秩特性，并提出了一种压缩 Key-Value 头部的新方法，该方法在最小化压缩误差的同时保持与原始大语言模型相当的性能，为在资源受限环境中更高效的大语言模型部署提供了一种有前途的方向。

    Jun, 2024

  • 基于群组混合注意力的视觉 Transformer 的进展

    基于 Group-Mix Attention 的 GroupMixFormer 模型在图像分类、物体检测和语义分割方面表现出色，参数较现有模型更少，例如 GroupMixFormer-L 在 ImageNet-1K 上取得 86.2% 的 Top-1 准确率，GroupMixFormer-B 在 ADE20K 上取得 51.2% 的 mIoU。

    Nov, 2023

  • 优化的分组查询注意机制用于变形金刚

    提出了一种激活信息驱动的方法 AsymGQA，将 MHA 不对称地分组为 GQA，并在模型性能方面取得了较好的表现。该方法解决了 GQA 在模型性能和硬件效能之间的权衡问题。

    Jun, 2024

  • 基于 Top-k 注意力的内存高效 Transformer

    本文介绍了一种简单而高效的用于 vanilla attention 的逼近算法，基于对查询进行分块的计算，在多个数据集上的评估表明其准确性接近于 vanilla attention。

    Jun, 2021

  • 视觉 Transformer 的实例感知组量化

    后训练量化（PTQ）是一种高效的模型压缩技术，它使用一个小的校准样本集对预训练的全精度模型进行量化，而无需重新训练。我们提出了一种针对视觉变换器（ViTs）的实例感知分组量化技术（IGQ-ViT），它动态地将激活图的通道分割为多个组，以使每个组内的激活具有相似的统计特性。我们的方法扩展到对令牌之间的 softmax 注意力进行量化，并通过调整每个层的组数来最小化量化模型与全精度模型之间的差异，在位运算约束下取得了良好效果。我们在图像分类、目标检测和实例分割等领域进行了广泛的实验证明了我们的方法的有效性。

    Apr, 2024