Dec, 2023

ZeroQuant(4+2): 通过一种基于FP6的新策略重新定义LLMs量化，用于不同的生成任务

HTML
PDF
TL;DR本研究审查了大型语言模型中的4位量化方法，重点关注GPTQ在零样本任务中的过拟合问题和限制。我们扩展了任务范围，涵盖了生成类别，如代码生成和抽象概括，发现INT4量化在其中显著性能不佳。然而，转向高精度格式如FP6却面临挑战，因为现有AI硬件上缺乏复杂的集成和系统加速策略导致性能较差，常被忽视。实验结果显示，FP6，即便采用粗粒度的量化方案，也能在各种算法和任务上表现出色，展示了它在准确性和多功能性方面的优势。值得注意的是，使用FP6量化，codestar-15B模型在代码生成方面表现与其FP16对等，对于较小的模型如406M，与摘要生成的基准模型非常接近，而INT4无法达到这种性能。为了更好适应各种AI硬件并实现最佳系统性能，我们提出了一种用于FP6的新颖4+2设计，以达到与最先进的INT4精细的量化相似的时延。通过我们的设计，FP6可以成为当前LLMs中使用的4位量化方法的有希望的解决方案。
发现论文，激发创造
  • ZeroQuant: 大规模Transformer的高效和实惠的后训练量化

    本研究提出了一种有效而实惠的后训练量化方法，ZeroQuant，用于压缩大型Transformer-based模型。ZeroQuant采用细粒度硬件友好量化、层内知识蒸馏算法、优化的量化系统等三个主要组成部分，能够在尽可能减少精度损失的情况下实现模型压缩和性能提升。

    Jun, 2022

  • 4位精度的必要性：k位推断缩放定律

    研究语言模型在压缩模型时的精度与模型大小之间的平衡，发现在总模型位和零-shot准确度方面，{4位}精度几乎普遍最优。

    Dec, 2022

  • INT-FP-QSim：大型语言模型和视觉变换器的混合精度和格式

    最近大规模语言模型(LLMs)的兴起导致了对降低精度的LLMs的增加，为了解决资源限制和促进民主化进程，我们提出了INT-FP-QSim: 一个开源模拟器，可以在不同的数值精度和格式下灵活评估LLMs和视觉转换器。通过我们的模拟器，我们调查了不同数值格式对4位权重和4位或8位激活的LLMs和视觉转换器性能的影响，并比较了Adaptive Block Floating Point、SmoothQuant、GPTQ和RPTQ等最近提出的方法在模型性能上的表现。我们希望INT-FP-QSim能够使研究人员灵活地模拟不同精度的模型，以支持进一步的LLMs和视觉转换器的量化研究。

    Jul, 2023

  • ZeroQuant-FP: 使用浮点格式的LLM后训练W4A8量化的飞跃

    使用浮点量化在大型语言模型中表现出色，尤其是FP8和FP4的浮点数，在模型参数超过十亿时性能优势更加明显。对于权重量化来说，FP4与INT4相比表现出可比、甚至更好的性能，简化了在支持FP的硬件上部署。对于通过权重和激活之间差异引起的精度对齐开销，我们提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，与标准的W4A8模型相比。此外，我们还结合了低秩补偿（LoRC）策略来增强量化方法，特别适用于较小的模型。研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。

    Jul, 2023

  • FineQuant: 低精度量化后全连接网络权重细粒度优化

    为了解决大型语言模型在实际应用中的内存需求和推断成本的问题，我们提出了一种高效的仅权重量化方法，通过减少内存消耗和加速推断来实现。我们引入了一种简单而有效的启发式方法，仅利用预训练模型的模型权重来确保最小质量降低。该方法适用于混合专家模型和密集模型，并且无需额外的微调。通过分析量化大型语言模型的挑战和问题，并采用自适应的量化粒度进行解决，我们展示了我们提出的方法的有效性。此外，我们实现了高效的GPU矩阵乘法和解量化算法，支持fp16或bf16激活与int8或int4权重的乘法。我们在OPT-175B和内部混合专家模型等大规模开源模型上评估了我们的方法，展示了最小的准确性损失，并在相同数量的GPU上实现了高达3.65倍的吞吐量。

    Aug, 2023

  • 了解后训练量化对大规模语言模型的影响

    大型语言模型中的参数数量、量化、超参数和推理速度的研究分析

    Sep, 2023

  • 迈向端到端基于生成型大语言模型的4位推理

    大多数大型生成模型的推理计算可以通过将权重和激活值均转换为4位来加速计算，同时保持良好的准确性；我们通过名为QUIK的混合量化策略实现这一目标，该策略将大多数权重和激活值压缩为4位，将一些异常值保留在较高精度；关键是，我们的方案专注于计算效率，提供高效的逐层GPU内核，相对于FP16执行，端到端的吞吐量可提高最多3.1倍。

    Oct, 2023

  • LLM-FP4: 4位浮点数量化变压器

    我们提出了LLM-FP4，在训练后将大型语言模型（LLM）的权重和激活量化为4位浮点数值。

    Oct, 2023

  • 结合多种后训练技术实现最高效的量化LLMs

    通过 quantization 技术，结合 SmoothQuant 和 GPTQ 两种 post-training 技术，将模型量化为 MX 格式，能够显著减小优化型模型大小至多 4 倍，提高 LLaMA 模型大小至多 3 倍，同时仅仅增加 1-3% 的困惑度。

    May, 2024

  • I-LLM：针对完全量化低位大型语言模型的高效整数推断

    该研究论文通过提出一种新型的整数化后训练量化框架(I-LLM)，解决了大语言模型在部署边缘和云设备上仍需要大量浮点运算的问题。实验证明，I-LLM在保持准确性的前提下，可以以W4A4进行操作，优于其他非整数量化方法。

    May, 2024