May, 2020

BiQGEMM：二进制编码量化深度神经网络中的查找表矩阵乘法

PDF
TL;DR本论文提出了一种针对量化 DNN（deep neural networks）的新型矩阵乘法方法，称为 BiQGEMM。通过一次指令同时访问多个量化权重， BiQGEMM 可以提高计算性能，并通过预计算中间结果来降低计算总量。在大量实验中，BiQGEMM 在 DNN 量化场景下表现出更高的性能。
发现论文，激发创造
  • 基于编译器技术优化深度学习 GEMM

    本文介绍了一种名为 NGEMM 的基于编译器的 GEMM 实现方法，用于加速低精度 DNN 的训练和推理。与 MKL 等库相比，NGEMM 的性能表现更优，平均速度提升了 1.86 倍。

    Oct, 2019

  • DeepGEMM: 使用查找表在 CPU 结构上加速的超低精度推断

    通过建立查找表并在推理时高效地访问它们，DeepGEMM 可以在 SIMD 硬件上执行超低精度卷积神经网络，比现有框架中的对应 8 位整数核心性能提高了高达 1.74 倍。

    Apr, 2023

  • nuQmm: 大规模生成式语言模型高效推理的量化矩阵乘法

    该论文提出了一个有效的推理框架用于大规模生成式语言模型，采用自我监督学习和 Transformer 架构的最新进展实现了低困惑度，通过非均匀量化和 nuQmm 的加速矩阵乘法，实现了模型大小的减小，并减少了大型 LM 的推理延迟

    Jun, 2022

  • T-MAC: 通过表查找实现的低位 LLM 在边缘部署上的 CPU 复兴

    T-MAC 是一种基于查找表（LUT）的创新方法，用于在 CPU 上进行高效的低位 LLM（即量化权重 LLM）推断，并且在同时消除乘法和减少加法的要求方面支持 mpGEMM。

    Jun, 2024

  • NeuralMatrix：将整个神经网络转换为通用矩阵乘法以实现高效推断

    本研究提出了一种新的框架 NeuralMatrix，可以在一个单一的通用矩阵乘法加速器上计算多功能的深度神经网络，同时在性能和特定应用的加速水平方面与 CPU 和 GPU 等通用处理器相比具有优势。

    May, 2023

  • 网络量化中的迭代查找表训练

    本研究介绍了一种叫做 LUT-Q 的训练方法，它可以学习一个字典并将每个权重分配给字典中的一个值，以减少深度神经网络的内存和计算需求。我们的实验结果表明，LUT-Q 比其他同种量化位宽的方法表现更好，并提出了一种无乘法器批归一化的算法。

    Nov, 2018

  • QQQ：大型语言模型的高质量四位量化

    QQQ 是一种基于四位权重和八位激活的优质量化方法，通过自适应平滑和基于 Hessian 的补偿显著提高了量化模型的性能，并通过精心设计的 W4A8 GEMM 核心增加了推理速度。与现有的最新 LLM 量化方法相当的性能，显著加速推理，与 FP16、W8A8 和 W4A16 相比，速度提升分别达到了 2.24 倍、2.10 倍和 1.25 倍。

    Jun, 2024

  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • 产品量化及其硬件加速

    本文研究了在 DNNs 中将传统的 MAC 操作替换为使用 product quantization 时的计算和内存占用情况，采用不同的 PQ 设置和训练方法，设计了第一个定制的硬件加速器来评估运行 PQ 模型的速度和效率，发现与高度优化的传统 DNN 加速器相比，PQ 配置能够使 ResNet20 的面积性能提高 40% 至 104%，且硬件性能优于近期的 PQ 解决方案 4 倍，只有 0.6% 的精度降低，为 PQ 模型的更广泛采用铺平了道路。

    May, 2023

  • GPTVQ: LLM 量化的维度福祉

    在这项研究中，我们展示了通过增加量化维度可以显著改善神经网络量化的大小和准确性之间的权衡。我们提出了 GPTVQ 方法，一种新的快速方法，用于对大型语言模型（LLMs）进行训练后的向量量化（VQ），并在多列的量化和未量化权重更新之间交错使用每层输出重建 MSE 的 Hessian 信息。通过使用数据感知的 EM 算法的高效版本初始化码本，然后使用整数量化和基于 SVD 的压缩来进行进一步压缩。GPTVQ 在诸如 Llama-v2 和 Mistral 之类的各种 LLMs 上建立了新的最先进的大小与准确性权衡状态。此外，我们的方法高效：在单个 H100 上处理 Llamav2-70B 模型需要 3 到 11 个小时，具体取决于量化设置。最后，通过对移动 CPU 上的 VQ 解压缩进行设备上的计时，我们显示 VQ 相比于使用 4 位整数格式可以提供改进的延迟。

    Feb, 2024