Aug, 2019

可微软量化：架起全精度和低比特神经网络的桥梁

HTML
PDF
TL;DR本研究提出了Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在ARM架构的设备上实现2到4位DSQ，并且与现有高性能推理框架相比，速度提高了1.7倍。
发现论文，激发创造
  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小21.1倍或计算量降低103.9倍

    Nov, 2018

  • 混合精度DNNs：只需良好参数化

    本文提出一种不同的量化方法，使用不同的参数化方法来训练深度神经网络，从而达到更高效深度神经网络推理的效果。通过多组实验验证，使用该方法训练得到的量化参数可以达到最佳效果。

    May, 2019

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • LSQ+: 通过可学习 offset 和更优的初始化改进低比特量化

    通过引入可训练的缩放和偏移参数的通用不对称量化方案，以学习如何适应负激活，LSQ + 提出了一种自然的LSQ扩展。结果显示，LSQ+对于EfficientNet和MixNet表现出最先进的结果，并且在低位量化神经网络时（如：EfficientNet-B0的W2A2量化），性能显著优于LSQ。同时，其硬件要求也更低。

    Apr, 2020

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如MobileNetV1，MobileNetV2和ShuffleNetV2）上取得了最优的准确性-复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • QuantNet：在全可微框架内学习量化

    本文介绍了一种元学习量化模型QuantNet，能够直接将全精度权重二进制化，解决了由于STE引起的梯度差异问题，减缓了二进制化操作对性能的离散化误差的影响，并在CIFAR-100和ImageNet数据集上取得了显著的改进。

    Sep, 2020

  • BSQ：探索混合精度神经网络量化的比特级稀疏性

    提出了比特级稀疏量化法（BSQ），通过引入可微比特稀疏正则化，考虑量化权重的每一位作为一个独立可训练变量，实现了每组权重元素的全零位诱导以及实现动态精度降低，使得在CIFAR-10和ImageNet数据集上相对于以往方法，BSQ在各种模型体系结构上获得更高的准确性和比特削减。

    Feb, 2021

  • 混合精度和自适应分辨率的可微分动态量化

    我们提出了一种完全可微的方法，名为 differentiable dynamic quantization (DDQ)，可用于学习模型量化中的所有超参数，通过实验表明DDQ在像 MobileNet这样的轻量架构上表现最好，并且DDQ是硬件友好型。

    Jun, 2021

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization和Quantization-Aware Training。

    Jun, 2021

  • SDQ：带混合精度的随机可微量化

    本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分bin正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种ResNet和MobileNet家族的全精度对应物，展示了我们的方法的有效性和优越性。

    Jun, 2022