May, 2023

GQA：从多头检查点训练广义多查询 Transformer 模型

PDF
TL;DR通过增加中间的键值头数目，我们提出了一种组合查询注意力 (GQA) 的方法，它是多查询注意力 (MQA) 的推广，能够实现训练速度和质量之间的平衡。
multi-query attentiondecoder inferenceuptraininggrouped-query attentionquality improvement
发现论文，激发创造
  • QCQA：质量和容量感知的分组查询注意力

    提出了一种考虑质量和能力的查询头分组的方法，用于在自回归大型语言模型推断中进行关键值缓存优化。该方法能够以较少的关键值缓存需求达到与其他方法相似的准确性，并且在细调后较其他方法具有较高的准确性。

    Jun, 2024

  • 优化的分组查询注意机制用于变形金刚

    提出了一种激活信息驱动的方法 AsymGQA，将 MHA 不对称地分组为 GQA，并在模型性能方面取得了较好的表现。该方法解决了 GQA 在模型性能和硬件效能之间的权衡问题。

    Jun, 2024

  • 使用跨层注意力减小 Transformer 键 - 值缓存大小

    使用交叉层注意力（CLA）设计可以进一步减小关键 - 值缓存的大小，而几乎保持与未修改 MQA 相同的准确性，在从头开始训练 1B 和 3B 参数模型的实验中证明 CLA 在内存 / 准确性权衡方面提供了帕累托改进，使得推断能处理比传统 MQA 更长的序列长度和更大的批次大小

    May, 2024

  • GQKVA: 通过分组查询、键和值高效预训练 Transformer

    GQKVA 是一种多功能方法，旨在加速 transformer 的预训练并减小模型大小，其实验结果表明 GQKVA 在图像分类任务中可以提高大约 0.3% 的准确度并减小约 4% 的模型大小。

    Nov, 2023

  • DHA：通过自适应头融合从 Transformer 检查点学习分离头注意力

    通过分析注意力冗余，设计了一种解耦式头部注意力机制（Decoupled-Head Attention，DHA），达到性能和效率之间的更好平衡，通过逐步线性融合类似头部参数来将 Multi-Head Attention（MHA）模型转换为 DHA 模型，实现了预训练预算的极大节约和高性能的平衡。

    Jun, 2024

  • LLM 中高效压缩 KV 头

    在本文中，我们探索了 Key-Value 缓存的低秩特性，并提出了一种压缩 Key-Value 头部的新方法，该方法在最小化压缩误差的同时保持与原始大语言模型相当的性能，为在资源受限环境中更高效的大语言模型部署提供了一种有前途的方向。

    Jun, 2024

  • 多问题多答案文本视觉问答

    通过多问多答（MQMA）方法，在编码 - 解码变压器模型中进行文本 - VQA（Visual Question Answering）。通过多次将不同问题和内容输入到模型中进行预测，实现对同一图像的多问题回答预测。提出几个新颖的架构修改来支持 MQMA，并且通过 MQMA 去噪的预训练任务，使模型能够对多个问题以及相关答案进行对齐和划分。在多个文本 - VQA 数据集上，MQMA 预训练模型实现了与先前最先进方法相比的明显改进（OCR-VQA：+2.5％，TextVQA：+1.4％，ST-VQA：+0.6％，DocVQA：+1.1％）。

    Nov, 2023

  • 快速 Transformer 解码：仅需要一个写头

    本文提出了一种多查询关注机制，使用这种机制可以降低增量解码的内存需求，并通过实验验证了这种关注机制可以使解码速度更快，同时只会导致较小的质量损失。

    Nov, 2019

  • 基于不确定性引导的全局记忆优化多跳问答

    我们提出了一种两阶段方法 GEMFormer，首先将相关信息收集到整个文档的内存中，然后与局部上下文相结合来解决多跳问答任务。结果表明，将预训练模型进行微调，使用内存增强输入，包括一些最确定的全局元素，相对于基线在三个多跳问答数据集上提高了模型的性能。我们还发现，全局显式记忆包含了正确答案所需的支持事实的信息。

    Nov, 2023

  • MLKV：用于内存高效 Transformer 解码的多层键值头

    通过多层键 - 值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。

    Jun, 2024