研究深度神经网络的激活量化问题，提出了一种半波高斯量化器（HWGQ）来近似 ReLU 非线性激活函数，并探讨了多种反向逼近方式以解决梯度失配问题，实现的量化网络 HWGQ-Net 的性能比以前的低精度网络如二进制权重和二位量化激活的网络接近全精度网络（如 AlexNet，ResNet，GoogLeNet 和 VGG-Net）。

Feb, 2017

本文提出一种名为 Elastic Quantization Neural Networks（EQ-Net）的一次性网络量化方案，旨在训练鲁棒的权重共享量化超网络。我们探索了一种弹性量化空间，并提出了权重分布正则化损失（WDR-Loss）和群体渐进引导损失（GPG-Loss）以解决弹性量化空间间隙中权重和输出逻辑的分布不一致问题。最后，我们结合了遗传算法和条件量化感知准确性预测器（CQAP），快速搜索超网络中混合精度量化的神经网络。大量实验证明，我们的 EQ-Net 几乎与或甚至更好地超过了静态对应物以及最先进的鲁棒位宽方法。

Aug, 2023

本文提出了一种基于分层随机梯度量化的边缘机器学习框架，并研究了其对学习性能的影响，包括量化误差和通信开销的降低。该方案采用了分层结构和基于矢量的量化，同时引入了一个位分配方式来保证量化精度，该方案能够在保证学习准确性的前提下显著减少通信开销。

Oct, 2019

该论文介绍了一种统一的框架来解决网络量化问题，通过引入一种新型的距离感知量化器 (DAQ), 该方法既解决了梯度匹配问题，也解决了量化差异问题，有效提高了各种位宽下的网络性能。

Aug, 2021

通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

May, 2024

本研究提出了一种训练低精度神经网络的方法，Learned Step Size Quantization，该方法使用 2、3 或 4 位字长量化权重和激活函数，并能够训练 3 位模型达到完全精度基线准确性，在 ImageNet 数据集上实现了迄今为止最高的准确性。

Feb, 2019

当学习速率足够小的时候，我们通过实验证明了一类大规模的权重梯度估计器等价于直通估计器 (STE)，无需改变权重初始化和学习速率，可用于处理量化感知训练中的梯度问题。

May, 2024

该论文提出了一种 alpha-blending 替代 Straight-Through Estimator 的方法用于量化神经网络，该方法逐步将模型从全精度转化为低精度并在 CIFAR10 和 ImageNet 数据集上表现出更好的结果。

Mar, 2019

提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

Oct, 2016

本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

Aug, 2019