Oct, 2023

双粒度量化：LLM 的高效细粒度量化

PDF
TL;DR该论文介绍了一种称为 Dual Grained Quantization (DGQ) 的新型量化技术，通过将细粒度的 INT4 权重解量化为粗粒度的 INT8 表示，并使用 INT8 内核进行矩阵乘法，来保持卓越性能同时确保快速推理速度。实验结果表明，DGQ 在各种 LLM 架构和广泛的任务中始终优于之前的方法，通过高效的 CUTLASS 内核，实现 1.12 倍的内存减少和 3.24 倍的速度增益，从而实现了 A8W4 LLM 在实际应用中的高效部署。
large language modelsquantizationdual grained quantizationmatrix multiplicationinference speed
发现论文，激发创造
  • 通过权重和激活量化提升大型语言模型的计算效率

    该研究探讨了大型语言模型的后训练量化，特别是 4 位权重和 8 位激活（W4A8）量化，以提高计算效率，介绍了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等创新技术，并引入了整数和非规格化表示的混合数据格式（dINT）来解决 W4A8 量化中的下溢问题，并通过对 LLMs 的严格评估证明这些技术显著提高了任务准确度，并且与完整精度模型相当，通过与 dINT 兼容的算术单元的开发，进一步证实了该方法相对于 8 位整数 MAC 单元可以提升 2 倍硬件效率。

    Nov, 2023

  • FPTQ：大型语言模型的细粒度后训练量化

    本研究提出了一种新的基于 W4A8 的后训练量化方法，结合了现有的两种技术的优势，实现了 4 位权重量化和 8 位矩阵计算加速，在多个标准基准测试中获得最新的 W4A8 量化性能，为大型语言模型的实际应用提供了可能。

    Aug, 2023

  • FineQuant: 低精度量化后全连接网络权重细粒度优化

    为了解决大型语言模型在实际应用中的内存需求和推断成本的问题，我们提出了一种高效的仅权重量化方法，通过减少内存消耗和加速推断来实现。我们引入了一种简单而有效的启发式方法，仅利用预训练模型的模型权重来确保最小质量降低。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过分析量化大型语言模型的挑战和问题，并采用自适应的量化粒度进行解决，我们展示了我们提出的方法的有效性。此外，我们实现了高效的 GPU 矩阵乘法和解量化算法，支持 fp16 或 bf16 激活与 int8 或 int4 权重的乘法。我们在 OPT-175B 和内部混合专家模型等大规模开源模型上评估了我们的方法，展示了最小的准确性损失，并在相同数量的 GPU 上实现了高达 3.65 倍的吞吐量。

    Aug, 2023

  • QQQ：大型语言模型的高质量四位量化

    QQQ 是一种基于四位权重和八位激活的优质量化方法，通过自适应平滑和基于 Hessian 的补偿显著提高了量化模型的性能，并通过精心设计的 W4A8 GEMM 核心增加了推理速度。与现有的最新 LLM 量化方法相当的性能，显著加速推理，与 FP16、W8A8 和 W4A16 相比，速度提升分别达到了 2.24 倍、2.10 倍和 1.25 倍。

    Jun, 2024

  • AWQ：激活感知权重量化用于低限制存储压缩和加速

    提出了一种基于激活函数的、硬件友好型的低比特权重量化方法。该方法可以保护神经网络的关键权重并保持其泛化能力，在不影响硬件效率的前提下，有效降低了语言模型部署的成本。

    Jun, 2023

  • QLLM：用于大型语言模型的准确高效低比特量化

    通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

    Oct, 2023

  • 敏捷量化：边缘端低延迟的 LLM 快速推理的激活引导量化

    本文介绍了一种针对大型语言模型的激活引导量化框架 Agile-Quant，通过模型参数和激活函数的量化实现了在边缘设备上更快的推理速度。

    Dec, 2023

  • SmoothQuant：大型语言模型后训练量化的准确高效算法

    SmoothQuant 是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现 LLMs 的 8 位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达 2 倍的内存减少和 1.56 倍的加速，是一个可降低硬件成本、民主化 LLMs 的一站式解决方案。

    Nov, 2022

  • SmoothQuant+: 精确高效的 LLM 后训练 4 位权重量化

    提出了 SmoothQuant + 方法，它是一种准确而高效的 4 位权重量化方法，能够无损地减小大语言模型的内存开销，并且在精确度上没有损失。通过 SmoothQuant+，Code Llama-34B 模型能够在一张 A100 40GB GPU 上实现无损的准确度，并且相较于在两张 A100 40GB GPUs 上部署的 FP16 模型，能够提高 1.9 至 4.0 倍的吞吐量，每个 token 的延迟仅为 FP16 模型的 68%。这是已知的大语言模型 4 位权重量化的最先进方法。

    Dec, 2023

  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024