Oct, 2018

通过临近算子进行量化神经网络的 ProxQuant

PDF
TL;DR通过发现直通渐变法与 Nesterov 双平均算法相同，提出了一种更加合理的替代方法 ProxQuant，将基于量化网络的训练问题转化为规则化学习问题，并通过 Prox - 梯度方法进行优化。对于二元量化，ProxQuant 在稳定性上优于直通渐变法，并提供了一种强有力的替代方法。在将 ResNets 和 LSTMs 量化为二元和多位之后，ProxQuant 能在二元量化上实现优于现有水平的结果，并且在多位量化上与现有技术持平。
deep neural networksquantizationproxquantbinary quantizationmulti-bit quantization
发现论文，激发创造
  • 神经网络量化的近端均场方法

    本文研究了将神经网络量化作为离散标记问题，并通过检查松弛度，设计了一种有效的迭代优化过程。我们的实验表明，我们的算法可以获得准确度非常接近浮点参考网络的完全量化网络。

    Dec, 2018

  • 量化神经网络的训练：深入理解

    本篇论文研究了深度神经网络的低精度模型的训练方法，探讨了在小型设备上训练深度神经网络的难点，提出了一种理论视角下的量化训练方法，并探索了非凸问题下的算法行为模型。

    Jun, 2017

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 使用前向和后向近似量化理解神经网络二值化

    通过对于神经网络二值化的训练技巧进行优化，建立了 ProxConnect++ (PC++) 作为 BinaryConnect (BC) 的扩展，提出了一种增强的二值化算法 BNN++，并在卷积神经网络和视觉转换模型的图像分类实验中进行了验证。

    Feb, 2024

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • 可学习正则化的稀疏低精度神经网络学习

    本文提出了一种使用低精度权重和操作的 DNN 学习方法，利用可学习的正则化系数来加强高精度权重收敛到量化值的能力，并研究了如何通过权重剪枝、量化和熵编码来建立低精度 DNN 压缩管道，实验结果显示该方法可以在 ImageNet 分类和图像超分辨率网络的任务中取得与准确性相对可接受的最新压缩比。

    Sep, 2018

  • 离散神经网络的松弛量化

    本文介绍一种可微的量化过程，将连续分布转换为分类型分布，然后通过松弛到连续的代理来实现高效的基于梯度的优化，还展示了随机舍入可理解为所提出方法的一个特例。通过实验证明本方法对于 MNIST、CIFAR 10 和 Imagenet 等各种问题的分类都具有很好的表现.

    Oct, 2018

  • 基于蒸馏和量化的模型压缩

    本文提出了两种新的模型压缩方法：量化蒸馏和可微量化。两种方法在卷积和循环体系结构上的实验结果表明，在资源受限的环境中，量化浅层神经网络可以达到与全精度模型相似的准确性水平，同时提供数量级压缩和推断加速。

    Feb, 2018

  • 神经网络量化的高效训练方法

    提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

    Dec, 2019