深度卷积网络的定点量化

ICMLNov, 2015

Fixed Point Quantization of Deep Convolutional Networks

Darryl D. Lin, Sachin S. Talathi, V. Sreekanth Annapureddy

TL;DR本研究提出了一种针对深度卷积网络的定点数实现的量化器设计，通过优化比特宽度分配，实现了在 CIFAR-10 基准测试上降低模型大小 20% 以上的优化，同时保持了原始浮点模型的准确性，该设计还能通过微调进一步提高模型的精度，从而实现在定点数性能方面的新的最高水平达到 6.78％的误差率。

Abstract

In recent years increasingly complex architectures for deep convolution networks (DCNs) have been proposed to boost the performance on image recognition tasks. However, the gains in performance have come at a cost of substantial increase in computation and model storage resources. Fixed point implementation of DCNs has the potential to alleviate some of thes

deep convolution networks fixed point implementation optimization model size reduction accuracy improvement

发现论文，激发创造

深度卷积网络的量化优化：一篇白皮书

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

Jun, 2018

FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示

本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩，同时准确率只有不到 2% 的损失。

Mar, 2022

使用自适应步长重新训练的深度神经网络的固定点优化

本文提出了一种对定点优化算法的改进，它可以动态估计量化步长，同时实现了逐步量化方案，经实验发现：该算法适用于前馈神经网络、卷积神经网络和循环神经网络。

Feb, 2017

卷积神经网络量化与注意力机制

本文提出双阶段压缩与阈值化方法 (double-stage ST)，使用注意力机制量化网络，在卷积前插入即可实现，达到超越全精度基线模型的准确性。

Sep, 2022

深度神经网络在量化下的鲁棒性

本研究分析了前馈深度神经网络 (FFDNN) 和卷积神经网络 (CNN) 的重训练对量化网络的影响，通过控制网络复杂度，发现高度复杂的 DNN 能够吸收严格的重量化影响并通过重训练提高性能，在硬件资源受限时提示了网络大小和精度之间的折衷。

Nov, 2015

深度神经网络快速部署的量化技术

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

可微神经架构搜索进行卷积网络的混合精度量化

该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

Nov, 2018

通过权值均衡和偏置校正实现零数据量量化

介绍了一种数据自由的量化深度神经网络方法，采用固定 8 位定点量化的方式来提高计算效率，并且通过处理激活函数中的比例等变性和纠正误差偏差来提高性能和准确度，可应用于常见的计算机视觉架构和任务中，以 API 调用的形式提高量化模型的性能和表现。

Jun, 2019

深度神经网络自适应量化

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

移动设备上的量化卷积神经网络

该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

Dec, 2015