Jan, 2024

KVQuant: 通过 KV 缓存量化实现 1000 万上下文长度的 LLM 推断

PDF
TL;DRLLMs 在大文本分析和摘要等需要大上下文窗口的应用中得到越来越广泛的应用，KV 缓存激活成为推断过程中存储器占用的主要贡献者。本研究通过引入新颖的方法对缓存的 KV 激活进行量化，包括：（i）通道关键激活量化，（ii）Rotary 位置嵌入本地化量化，（iii）非均匀 KV 缓存量化，（iv）向量稠密稀疏量化，和（v）Q-Norm。通过将这些方法应用于 LLaMA、LLaMA-2 和 Mistral 模型，我们在 Wikitext-2 和 C4 数据集上使用 3 位量化实现了小于 0.1 的困惑度退化，优于现有方法。我们的方法使得在单个 A100-80GB GPU 上可以为 LLaMA-7B 模型提供长达 100 万的上下文长度，而在 8-GPU 系统上可以提供长达 1000 万的上下文长度。
发现论文，激发创造
  • KV 缓存每通道 1 位：带耦合量化的高效大语言模型推断

    通过 Coupled Quantization (CQ) 技术，我们能够更信息效率地对大模型 (Large Language Models) 的 KV 缓存进行压缩，从而提高效率并保持模型质量。

    May, 2024

  • WKVQuant：量化权重和键 / 值缓存以提升大型语言模型的性能

    该论文提出了一种针对大型语言模型的量化方法，即使用 WKVQuant 框架对权重和关键 / 值（KV）缓存进行量化，通过过去量化改进注意力计算，并引入二维量化策略处理 KV 缓存分布，结合跨块重构正则化进行参数优化，实验证明 WKVQuant 能够几乎实现与权重 - 激活量化相当的内存节省，并接近仅权重量化的性能。

    Feb, 2024

  • QAQ: LLM KV 缓存的质量自适应量化

    提出了 QAQ，一种针对 KV 缓存的质量自适应量化方案，通过集成专用的异常值处理和改进的注意力感知方法，QAQ 在对模型性能几乎没有影响的情况下，实现了 KV 缓存大小最大 10 倍的压缩比，显著减少了部署 LLM 的实际困境，并为更长上下文应用开辟了新的可能性。

    Mar, 2024

  • SKVQ：用于大语言模型的滑动窗口键值缓存量化

    在这篇论文中，我们提出了一种称为 SKVQ 的策略，它通过滑动窗口的键值缓存量化来解决大型语言模型中低比特宽度的键值缓存量化问题，并实现高压缩比和高准确性。

    May, 2024

  • KIVI：一种用于 KV 缓存的无需调节的非对称 2 位量化

    通过深入研究大语言模型中关键 - 值缓存的元素分布，我们提出了一个调优无需任何参数的 2 位关键 - 值缓存量化算法，名为 KIVI。KIVI 可以使 Llama (Llama-2), Falcon, 和 Mistral 模型在几乎不减少质量的同时，使用 2.6 倍的峰值内存，从而实现高达 4 倍的批处理大小，进一步提高 2.35 到 3.47 倍的真实大语言模型推理负载吞吐量。

    Feb, 2024

  • MiniCache：大型语言模型的键值缓存深度维度压缩

    通过对大型语言模型的键 - 值缓存进行压缩，以降低内存占用，并提高高吞吐量和优化压缩比率。

    May, 2024

  • 评估量化的大型语言模型

    本论文通过对 PTQ 技术在 11 个模型家族的综合评估，系统总结了量化对权重、激活函数和 KV Cache 的影响，提供了应用量化技术的建议，指出了未来的研究方向。

    Feb, 2024

  • LLM-QAT: 大型语言模型的无数据量化感知训练

    通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

    May, 2023

  • GPTVQ: LLM 量化的维度福祉

    在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

    Feb, 2024

  • Quest: 查询感知稀疏性用于高效长上下文 LLM 推断

    长上下文大语言模型的推理速度下降的问题可以通过使用查询感知的 KV 缓存选择算法来加速自注意力机制，该算法通过仅加载前 K 个关键 KV 缓存页面来显著提高自注意力的速度。

    Jun, 2024