Dec, 2023

SmoothQuant+: 精确高效的LLM后训练4位权重量化

HTML
PDF
TL;DR提出了SmoothQuant+方法，它是一种准确而高效的4位权重量化方法，能够无损地减小大语言模型的内存开销，并且在精确度上没有损失。通过SmoothQuant+，Code Llama-34B模型能够在一张A100 40GB GPU上实现无损的准确度，并且相较于在两张A100 40GB GPUs上部署的FP16模型，能够提高1.9至4.0倍的吞吐量，每个token的延迟仅为FP16模型的68%。这是已知的大语言模型4位权重量化的最先进方法。
发现论文，激发创造
  • SmoothQuant：大型语言模型后训练量化的准确高效算法

    SmoothQuant是一个训练免费的精度保持、通用的后训练量化解决方案，用于大型语言模型（LLMs），通过平滑激活异常值并在权重和激活之间进行数学上等效的变换以迁移量化难度，可以实现LLMs的8位权重和激活（W8A8）量化，同时提高硬件效率，以较小的精度损失实现高达2倍的内存减少和1.56倍的加速，是一个可降低硬件成本、民主化LLMs的一站式解决方案。

    Nov, 2022

  • AWQ：激活感知权重量化用于低限制存储压缩和加速

    提出了一种基于激活函数的、硬件友好型的低比特权重量化方法。该方法可以保护神经网络的关键权重并保持其泛化能力，在不影响硬件效率的前提下，有效降低了语言模型部署的成本。

    Jun, 2023

  • ZeroQuant-FP: 使用浮点格式的LLM后训练W4A8量化的飞跃

    使用浮点量化在大型语言模型中表现出色，尤其是FP8和FP4的浮点数，在模型参数超过十亿时性能优势更加明显。对于权重量化来说，FP4与INT4相比表现出可比、甚至更好的性能，简化了在支持FP的硬件上部署。对于通过权重和激活之间差异引起的精度对齐开销，我们提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，与标准的W4A8模型相比。此外，我们还结合了低秩补偿（LoRC）策略来增强量化方法，特别适用于较小的模型。研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。

    Jul, 2023

  • FineQuant: 低精度量化后全连接网络权重细粒度优化

    为了解决大型语言模型在实际应用中的内存需求和推断成本的问题，我们提出了一种高效的仅权重量化方法，通过减少内存消耗和加速推断来实现。我们引入了一种简单而有效的启发式方法，仅利用预训练模型的模型权重来确保最小质量降低。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过分析量化大型语言模型的挑战和问题，并采用自适应的量化粒度进行解决，我们展示了我们提出的方法的有效性。此外，我们实现了高效的GPU矩阵乘法和解量化算法，支持fp16或bf16激活与int8或int4权重的乘法。我们在OPT-175B和内部混合专家模型等大规模开源模型上评估了我们的方法，展示了最小的准确性损失，并在相同数量的GPU上实现了高达3.65倍的吞吐量。

    Aug, 2023

  • 在GPU上实现快速2位硬件离线量化低内存映射：内存对齐、稀疏离群值和异步解量化

    通过以较小的计算代价解决对大型语言模型（LLMs）进行量化和去量化操作时所面临的问题，我们提出了一种新的技术，并在不同模型和尺寸上进行了广泛实验，成功实现了每个权重的2.85位表示，模型的端到端加速比为1.74倍，同时降低了运行成本和硬件需求。

    Nov, 2023

  • FlattenQuant: 通过Per-tensor 量化来突破大型语言模型的推断计算限制

    使用FlattenQuant方法在大型语言模型中实现低比特量化，通过将张量中的大通道展平以显著减少张量的最大值，本方法能够直接使用4位来实现LLMs中线性层计算的48.29%，并使用8位来处理其余层，从而实现高达2倍的速度提升和2.3倍的内存减少，而准确度损失微不足道。

    Feb, 2024

  • CDQuant: 使用贪婪协调下降的准确大型预训练模型的训练后权重量化

    CDQuant是一个简单且可扩展的替代GPTQ的算法，使用坐标下降法来实现高质量的量化权重，通过在PaLM2模型系列上进行广泛评估，我们证明CDQuant在各种模型规模和量化级别下始终优于GPTQ。

    Jun, 2024

  • LeanQuant: 准确的大型语言模型量化方法 - 基于损失-误差感知的网格

    大规模的语言模型通过权重量化技术 LeanQuant 可以有效地减少解码延迟和内存需求，在4位、3位和2位区域与竞争性基准相比表现良好。

    Jul, 2024

  • ABQ-LLM：大型语言模型的任意位量化推理加速

    本研究解决了大型语言模型推理中由于内存和计算需求高而导致的应用限制，通过引入一种新型的任意位量化算法和推理框架ABQ-LLM。该框架在不同量化设置下表现出色，并能够高效实现任意精度的量化推理，显著提高了 GPU 上低比特宽度执行的性能。最重要的发现是，ABQ-LLM在LLaMA-7B模型上的 W2*A8 量化配置下，获得了比以往方法更高的加速和内存压缩效果。

    Aug, 2024

  • “给我 BF16 否则让我去死”？大型语言模型量化中的准确性与性能权衡

    本研究解决了大型语言模型（LLM）量化过程中准确性与性能之间的权衡问题。通过对FP8、INT8和INT4等不同量化格式的全面实证研究，我们提出了一些量化改进，取得了最新的准确性恢复结果。关键发现表明，适当调整的INT8量化仅会导致1-3%的低准确性下降，为量化LLM的实际部署提供了实用指南。

    Nov, 2024