Dec, 2023

SmoothQuant+: 精确高效的 LLM 后训练 4 位权重量化

PDF
TL;DR提出了 SmoothQuant + 方法，它是一种准确而高效的 4 位权重量化方法，能够无损地减小大语言模型的内存开销，并且在精确度上没有损失。通过 SmoothQuant+，Code Llama-34B 模型能够在一张 A100 40GB GPU 上实现无损的准确度，并且相较于在两张 A100 40GB GPUs 上部署的 FP16 模型，能够提高 1.9 至 4.0 倍的吞吐量，每个 token 的延迟仅为 FP16 模型的 68%。这是已知的大语言模型 4 位权重量化的最先进方法。
large language models4-bit weight quantizationsmoothquant+accuracythroughput increase
发现论文，激发创造
  • SmoothQuant：大型语言模型后训练量化的准确高效算法

    SmoothQuant 是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现 LLMs 的 8 位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达 2 倍的内存减少和 1.56 倍的加速，是一个可降低硬件成本、民主化 LLMs 的一站式解决方案。

    Nov, 2022

  • QLLM：用于大型语言模型的准确高效低比特量化

    通过自适应通道重组技术，QLLM 提出了一种准确高效的低精度模型量化方法，实现了对大规模语言模型的低精度量化，并在 LLaMA-2 上相较于之前最先进的方法提高了 7.89% 的平均准确率。

    Oct, 2023

  • LLM-FP4: 4 位浮点数量化变压器

    我们提出了 LLM-FP4，在训练后将大型语言模型（LLM）的权重和激活量化为 4 位浮点数值。

    Oct, 2023

  • FPTQ：大型语言模型的细粒度后训练量化

    本研究提出了一种新的基于 W4A8 的后训练量化方法，结合了现有的两种技术的优势，实现了 4 位权重量化和 8 位矩阵计算加速，在多个标准基准测试中获得最新的 W4A8 量化性能，为大型语言模型的实际应用提供了可能。

    Aug, 2023

  • 结合多种后训练技术实现最高效的量化 LLMs

    通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

    May, 2024

  • 通过权重和激活量化提升大型语言模型的计算效率

    该研究探讨了大型语言模型的后训练量化，特别是 4 位权重和 8 位激活（W4A8）量化，以提高计算效率，介绍了激活量化感知的缩放（AQAS）和序列长度感知的校准（SLAC）等创新技术，并引入了整数和非规格化表示的混合数据格式（dINT）来解决 W4A8 量化中的下溢问题，并通过对 LLMs 的严格评估证明这些技术显著提高了任务准确度，并且与完整精度模型相当，通过与 dINT 兼容的算术单元的开发，进一步证实了该方法相对于 8 位整数 MAC 单元可以提升 2 倍硬件效率。

    Nov, 2023

  • AffineQuant：大型语言模型的仿射变换量化

    基于等效仿射变换的后训练量化方法 (AffineQuant) 扩展了优化范围，显著减少了量化误差，在大规模语言模型上达到了显著的性能提升，并在 PTQ 领域树立了新的技术标杆。

    Mar, 2024

  • 在 GPU 上实现快速 2 位硬件离线量化低内存映射：内存对齐、稀疏离群值和异步解量化

    通过以较小的计算代价解决对大型语言模型（LLMs）进行量化和去量化操作时所面临的问题，我们提出了一种新的技术，并在不同模型和尺寸上进行了广泛实验，成功实现了每个权重的 2.85 位表示，模型的端到端加速比为 1.74 倍，同时降低了运行成本和硬件需求。

    Nov, 2023

  • FineQuant: 低精度量化后全连接网络权重细粒度优化

    为了解决大型语言模型在实际应用中的内存需求和推断成本的问题，我们提出了一种高效的仅权重量化方法，通过减少内存消耗和加速推断来实现。我们引入了一种简单而有效的启发式方法，仅利用预训练模型的模型权重来确保最小质量降低。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过分析量化大型语言模型的挑战和问题，并采用自适应的量化粒度进行解决，我们展示了我们提出的方法的有效性。此外，我们实现了高效的 GPU 矩阵乘法和解量化算法，支持 fp16 或 bf16 激活与 int8 或 int4 权重的乘法。我们在 OPT-175B 和内部混合专家模型等大规模开源模型上评估了我们的方法，展示了最小的准确性损失，并在相同数量的 GPU 上实现了高达 3.65 倍的吞吐量。

    Aug, 2023

  • QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法

    本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

    Sep, 2023