Feb, 2017

半波高斯量化下的低精度深度学习

PDF
TL;DR研究深度神经网络的激活量化问题，提出了一种半波高斯量化器（HWGQ）来近似 ReLU 非线性激活函数，并探讨了多种反向逼近方式以解决梯度失配问题，实现的量化网络 HWGQ-Net 的性能比以前的低精度网络如二进制权重和二位量化激活的网络接近全精度网络（如 AlexNet，ResNet，GoogLeNet 和 VGG-Net）。
quantizationdeep learningneural networksreluhwgq
发现论文，激发创造
  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024

  • 深度神经网络后训练分段线性量化

    本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

    Jan, 2020

  • HAWQ：混合精度的神经网络海森矩阵感知量化

    本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法相比，HAWQ 可以减小模型大小，同时提高精度。

    Apr, 2019

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 对数无偏量化：深度学习中简单的 4 位训练

    本篇论文讨论了深度神经网络量化的训练过程，提出了一种对称、无偏、对数化的量化方法，能够达到新的四位量化水平，有效地减少了量化过程的计算开销，同时在 ResNet50 on ImageNet 中实现了 1.1% 的降低率。

    Dec, 2021

  • HAWQ-V2: 基于 Hessian 感知的神经网络权重量化

    研究混合精度量化的方法，使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题，并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用 Pareto 前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测，并获得了最新的最优结果。

    Nov, 2019

  • 通道维度 Hessian 感知迹加权量化神经网络

    通过使用通道数量更少的针对 Hessian 迹的量化方法，结合使用基于深度强化学习的代理寻找最佳量化位和通道分配的方法，可以获得更好的结果。

    Aug, 2020

  • HLQ: 基于 Hadamard 低秩量化的快速高效反向传播

    通过引入一种名为 Hadamard Low-rank Quantization (HLQ) 的优化策略，该研究主要关注在降低卷积和线性层的反向传播成本，在从头训练和微调过程中实现显著的内存节省和加速，并且获得了卓越的性能表现。

    Jun, 2024

  • 使用随机量化学习准确的低比特深度神经网络

    本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

    Aug, 2017

  • 使用逐元素梯度缩放的网络量化

    本文提出了一种新的基于 element-wise gradient scaling 的量化网络的训练方法，该方法可以更好地解决量化误差问题，提高在有限硬件资源情况下深度神经网络的稳定性和准确性。

    Apr, 2021