离散神经网络的松弛量化

Oct, 2018

Relaxed Quantization for Discretized Neural Networks

Christos Louizos, Matthias Reisser, Tijmen Blankevoort, Efstratios Gavves, Max Welling

TL;DR本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

Abstract

neural network quantization has become an important research area due to its great impact on deployment of large models on resource constrained devices. In order to train networks that can be effectively discreti

neural network quantization differentiable quantization stochastic rounding gradient-based optimization

发现论文，激发创造

基于标准差的深度神经网络量化

本文提出了基于权重和激活分布的标准差的量化区间学习框架，同时引入了一种基于 base-2 对数的量化模式，该模式不仅证明了较好的精度表现，还能进行参数剪枝。

Feb, 2022

量化网络

该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

Nov, 2019

深度神经网络压缩的可微细粒度量化

本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

Oct, 2018

基于蒸馏和量化的模型压缩

本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

Feb, 2018

高效神经网络推理量化方法综述

本文旨在综述深度神经网络计算中数值量化的方法和优缺点，囊括了使用固定整数值的优点、及降低 4x 到 8x 等现实应用中的实际结果，以及占用更少的内存和降低延迟的潜力。

Mar, 2021

可微软量化：架起全精度和低比特神经网络的桥梁

本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

Aug, 2019

QGen：关于量化感知训练的泛化能力

使用更少的位数表示模型权重和激活，量化降低了内存使用、计算需求和延迟。我们研究了量化神经网络的泛化性质，首先通过理论模型表明了量化作为一种正则化的功能，其次通过与损失函数曲线陡峭度与泛化的相关性的研究，提出了一个近似限制量化模型泛化性的方法，通过在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上对卷积和 Transformer 模型进行超过 2000 次实验进行验证。

Apr, 2024

深度神经网络快速部署的量化技术

本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

Oct, 2018

量化神经网络的训练：深入理解

本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

Jun, 2017

神经网络量化的高效训练方法

提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

Dec, 2019