Sep, 2022

SAMP：自适应混合精度模型推理工具包

PDF
TL;DR本文提出了一种自适应混合精度 (SAMP) 工具包来控制量化率，以平衡效率和性能，可以轻松量化模型进行推理。实验结果表明，SAMP 工具包的加速比优于 PyTorch 和 FasterTransformer，同时保证所需性能。此外，SAMP 基于模块化设计，可无缝集成到 PyTorch 中处理各种下游任务。
quantizationmixed-precision architecturetoolkitinference speedmodular design
发现论文，激发创造
  • INT-FP-QSim：大型语言模型和视觉变换器的混合精度和格式

    最近大规模语言模型 (LLMs) 的兴起导致了对降低精度的 LLMs 的增加，为了解决资源限制和促进民主化进程，我们提出了 INT-FP-QSim: 一个开源模拟器，可以在不同的数值精度和格式下灵活评估 LLMs 和视觉转换器。通过我们的模拟器，我们调查了不同数值格式对 4 位权重和 4 位或 8 位激活的 LLMs 和视觉转换器性能的影响，并比较了 Adaptive Block Floating Point、SmoothQuant、GPTQ 和 RPTQ 等最近提出的方法在模型性能上的表现。我们希望 INT-FP-QSim 能够使研究人员灵活地模拟不同精度的模型，以支持进一步的 LLMs 和视觉转换器的量化研究。

    Jul, 2023

  • FP8-BERT：Transformer 的后训练量化

    本文通过对 GLUE 和 SQuAD v1.1 数据集上的 BERT 变种进行大量实验，验证了 FP8 作为一种进行后训练量化的有效方式，能够在不显著损失精度的情况下提高准确性。

    Dec, 2023

  • 变形金刚模型全面实现 8 位整型推断

    通过对 Transformer 模型进行整合，得到了一个 8 位整型 Inference 算法，其鲁棒的 8 位量化方法大大减少了内存占用问题。实验结果表明，与基准架构相比，该算法的性能基本一致且内存占用减少了近 4 倍。

    Sep, 2020

  • 混合专家混合精度神经网络的调优

    通过添加新的数据类型到 Caffe，增加了现有商品电子设备上深度学习推断速度，在某些设备上，内存使用量可以降低到 3.29 倍，推断速度可以提高到 3.01 倍，并提出了一种混合专家模型的变化来增加图像分类中的推断速度。

    Sep, 2022

  • FBGEMM：实现低精度深度学习推理的高性能技术

    本文介绍了 fbgemm 这一高性能的内核库，其使用了深度学习中的浮点数、16 位整数、8 位整数甚至 4 位或 2 位整数等低精度数据类型，但是仍能保证与高精度数据类型相同的准确性，从而使得量化计算变得更加高效。fbgemm 通过 fusion、gemm 实现和阶段性的内核代码生成，提高计算效率，实践证明在 Facebook 上已经成为了生产基线的 2 倍以上。

    Jan, 2021

  • F8Net: 仅限定点 8 位乘法用于网络量化

    F8Net 是一种完全由固定点 8 位乘法构成的量化框架，可以降低神经网络量化模型与完全精度模型之间的性能差距，并显著降低内存占用和能源消耗。

    Feb, 2022

  • ZeroQuant-FP: 使用浮点格式的 LLM 后训练 W4A8 量化的飞跃

    使用浮点量化在大型语言模型中表现出色，尤其是 FP8 和 FP4 的浮点数，在模型参数超过十亿时性能优势更加明显。对于权重量化来说，FP4 与 INT4 相比表现出可比、甚至更好的性能，简化了在支持 FP 的硬件上部署。对于通过权重和激活之间差异引起的精度对齐开销，我们提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，与标准的 W4A8 模型相比。此外，我们还结合了低秩补偿（LoRC）策略来增强量化方法，特别适用于较小的模型。研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。

    Jul, 2023

  • Jetfire：使用 INT8 数据流和每块量化实现高效准确的 Transformer 预训练

    Jetfire 提出了一种高效准确的 INT8 预训练方法，通过 INT8 数据流优化内存访问和每个块的量化方法来实现与 FP16 基线相当的准确性，且相对于 FP16 基线，提供了 1.42 倍的训练加速和 1.49 倍的内存减少。

    Mar, 2024

  • BERT 自动混合精度量化搜索

    本文提出了一种针对 BERT 模型的自动混合精度量化框架，可以在子组水平同时进行量化和修剪，实现了压缩模型和保持同样性能的目标，并结合 DistilBERT 等方法获得了极轻量级模型。

    Dec, 2021

  • RMSMP：一种具有逐行混合方案和多精度的新型深度神经网络量化框架

    本文提出了一种新颖的深度神经网络量化框架 ——RMSMP，采用行混合方案和多精度方法，在硬件推理中简化操作，同时保持准确性。通过对所有层进行线下确定量化方案，RMSMP 量化算法使用 Hessian 和基于方差的方法为每行分配精度和方案，并在 FPGA 设备上实现，与 4 位定点基线相比，在 ImageNet 上对 ResNet-18 的端到端推理时间实现了 3.65 倍加速。

    Oct, 2021