Jun, 2024

MLKV：用于内存高效 Transformer 解码的多层键值头

PDF
TL;DR通过多层键 - 值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。
auto-regressive inferencetransformerskey-value cachingmemory bottlenecksmulti-layer key-value sharing
发现论文，激发创造
  • 大型语言模型高效推理的层压化 KV 缓存

    提出了一种新的方法，只计算和缓存少量层的键值以大幅节省内存消耗并提高推理吞吐量。在大型语言模型上的实验证明，该方法的推理吞吐量比标准 Transformer 高 26 倍，同时在语言建模和下游任务中具有竞争性能。此外，该方法与现有的 Transformer 节省内存技术正交，因此可以轻松将它们与我们的模型集成，进一步提高推理效率。

    May, 2024

  • 使用跨层注意力减小 Transformer 键 - 值缓存大小

    使用交叉层注意力（CLA）设计可以进一步减小关键 - 值缓存的大小，而几乎保持与未修改 MQA 相同的准确性，在从头开始训练 1B 和 3B 参数模型的实验中证明 CLA 在内存 / 准确性权衡方面提供了帕累托改进，使得推断能处理比传统 MQA 更长的序列长度和更大的批次大小

    May, 2024

  • LLM 中高效压缩 KV 头

    在本文中，我们探索了 Key-Value 缓存的低秩特性，并提出了一种压缩 Key-Value 头部的新方法，该方法在最小化压缩误差的同时保持与原始大语言模型相当的性能，为在资源受限环境中更高效的大语言模型部署提供了一种有前途的方向。

    Jun, 2024

  • SnapKV: LLM 在生成之前了解您要寻找的内容

    SnapKV 是一种创新且无需微调的方法，它通过选择每个注意力头的重要键值位置来高效地减小键值存储缓存的大小，从而在处理长输入序列时显著降低了计算开销和内存占用，同时保持了与基准模型相当的性能。

    Apr, 2024

  • GQKVA: 通过分组查询、键和值高效预训练 Transformer

    GQKVA 是一种多功能方法，旨在加速 transformer 的预训练并减小模型大小，其实验结果表明 GQKVA 在图像分类任务中可以提高大约 0.3% 的准确度并减小约 4% 的模型大小。

    Nov, 2023

  • MiniCache：大型语言模型的键值缓存深度维度压缩

    通过对大型语言模型的键 - 值缓存进行压缩，以降低内存占用，并提高高吞吐量和优化压缩比率。

    May, 2024

  • 键值变换器

    通过对 QKV 模式性能进行评估，我们发现一个结合了 2D 位置编码的不对称的 KV 变压器常常比 QKV 变压器更有效且需要更少的参数和计算。

    May, 2023

  • 金字塔推理：金字塔 KV 缓存压缩用于高吞吐率 LLM 推理

    通过压缩键值缓存并保留关键上下文，提出了一种名为 PyramidInfer 的方法，以提高大型语言模型在 GPU 内存使用和推理速度方面的可扩展性。实验结果显示 PyramidInfer 相比 Accelerate 方法，在增加 2.2 倍的吞吐量的同时减少了 54% 的 GPU 内存占用。

    May, 2024

  • KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化

    通过深入研究大语言模型中关键 - 值缓存的元素分布，我们提出了一个调优无需任何参数的 2 位关键 - 值缓存量化算法，名为 KIVI。KIVI 可以使 Llama (Llama-2), Falcon, 和 Mistral 模型在几乎不减少质量的同时，使用 2.6 倍的峰值内存，从而实现高达 4 倍的批处理大小，进一步提高 2.35 到 3.47 倍的真实大语言模型推理负载吞吐量。

    Feb, 2024

  • PyramidKV: 基于金字塔信息漏斗的动态 KV 缓存压缩

    在这项研究中，我们调查了大语言模型内部的基于注意力的信息流是否通过明显的模式进行大范围长文本处理。我们的观察揭示了大语言模型通过金字塔信息漏斗聚合信息，注意力在较低的层级中广泛散布，逐渐在特定上下文中巩固，并最终集中于关键标记（即大规模激活或注意力汇聚）在较高的层级。在这些洞察的基础上，我们开发了一个新颖且有效的 KV 缓存压缩方法 PyramidKV。该方法动态调整不同层级上的 KV 缓存大小，分配较低层级较多的缓存，而较高层级较少，与维护统一 KV 缓存大小的传统方法有所不同。我们根据 LongBench 基准评估的实验表明，PyramidKV 与完整 KV 缓存模型的性能相当，但只保留了 12% 的 KV 缓存，因此显著减少了内存使用。在强调内存效率的情景下，仅维护 0.7% 的 KV 缓存，PyramidKV 超越其他 KV 缓存压缩技术，在 TREC 上实现了高达 20.5 个绝对准确度的提升。

    Jun, 2024