对大型语言模型的量化技术进行研究，发现 4 位量化的语言模型可以在大部分基准测试中保持与非量化模型相当的性能，并且困惑度可以作为量化语言模型的代理度量。然而，量化也会影响推断速度，因此在优化解码速度和内存消耗方面需要进行大量工程努力和硬件支持。

Feb, 2024

本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

Sep, 2023

通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

Oct, 2023

本研究提出了 EasyQuant，这是一种训练免费且独立于数据的权重量化算法，旨在实现对大型语言模型（LLMs）的几乎无损量化性能，且算法运行速度比依赖于数据的方法快 10 倍以上。

Mar, 2024

在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

Feb, 2024

量化作为一种改善大型语言模型的存储和计算效率的有前途的技术，本研究以新的扰动视角，研究了量化与大型语言模型性能之间的关系，并发现了扰动特性与性能之间的联系，提供了改善模型量化鲁棒性的潜在解决方案，并在实验证明了基于这一视角的简单非均匀量化方法在权重和激活量化方面都能达到较小的性能损失，以此改善大型语言模型的效率而不牺牲性能。

Mar, 2024

通过使用块量化技术，本研究实现了基于大型语言模型（LLMs）的几乎无损 6 位量化，与浮点数基准相比算术密度增加了 19 倍，内存密度增加了 5 倍，超过了之前 8 位量化的先前技术。同时，介绍了子 8 位 LLM 量化的关键见解，包括激活和权重分布之间的不匹配、最佳的微调策略，以及 LLMs 统计属性中固有的较低量化粒度。该研究提出的框架将在发表后开源。

Oct, 2023

该论文提出了一种针对大型语言模型的量化方法，即使用 WKVQuant 框架对权重和关键 / 值（KV）缓存进行量化，通过过去量化改进注意力计算，并引入二维量化策略处理 KV 缓存分布，结合跨块重构正则化进行参数优化，实验证明 WKVQuant 能够几乎实现与权重 - 激活量化相当的内存节省，并接近仅权重量化的性能。

Feb, 2024

通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

May, 2023

利用量化技术减少大型语言模型（LLM）的内存使用，但本文首次从安全角度研究了量化技术的负面影响，揭示了广泛使用的量化方法可能被利用以产生有害的量化 LLM，从而欺骗用户部署恶意量化模型。

May, 2024