Mar, 2021

高效神经网络推理量化方法综述

PDF
TL;DR本文旨在综述深度神经网络计算中数值量化的方法和优缺点，囊括了使用固定整数值的优点、及降低 4x 到 8x 等现实应用中的实际结果，以及占用更少的内存和降低延迟的潜力。
quantizationnumerical representationfixed integer valuesneural networksefficient implementation
发现论文，激发创造
  • 量子化神经网络方法和理论综述

    本次研究对于深度神经网络的量化方法进行综述，重点探讨了量化对于模型大小、能量消耗以及在移动设备上的实际应用等方面的影响。

    Aug, 2018

  • 深度学习推理的整数量化：原理与实证评估

    本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

    Apr, 2020

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 三值量化：一项调查

    本研究综述了深度神经网络模型压缩方法中的一种，三值量化。研究回顾了三值量化的发展历程，并从投影函数和优化方法的角度研究了现有的三值量化方法之间的关系。

    Mar, 2023

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • 神经网络的低位量化以提高推理效率

    本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

    Feb, 2019

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

    Jun, 2018

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 量化卷积神经网络以用于低功耗高吞吐量推理引擎

    本文提出了一种量化方案，通过在参考浮点模型上校准而不是重新训练来确定量化方案参数，从而实现了基于更高效的算术进行推理，并且在量化后的结果中，终端到终端精度可与基准模型相当。

    May, 2018