Feb, 2024

基于低成本代理的混合精度自适应量化

HTML
PDF
TL;DR该论文提出了一种名为LCPAQ的新型模型量化方法，其中包含三个关键模块。在考虑硬件限制的基础上设计了硬件感知模块，开发了自适应混合精度量化模块来评估量化灵敏度，并使用希狄矩阵和Pareto边界技术进行整数线性规划来微调不同层的量化。然后，低成本代理神经架构搜索模块高效探索理想的量化超参数。在ImageNet上的实验证明，提出的LCPAQ在量化精度方面达到了与现有混合精度模型相当甚至更好的水平。值得注意的是，与现有方法相比，LCPAQ的搜索时间减少了1/200，从而为资源有限设备的实际量化使用提供了捷径。
发现论文，激发创造
  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小21.1倍或计算量降低103.9倍

    Nov, 2018

  • HAWQ：混合精度的神经网络海森矩阵感知量化

    本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法相比，HAWQ 可以减小模型大小，同时提高精度。

    Apr, 2019

  • HMQ: 用于卷积神经网络的硬件友好型混合精度量化块

    本文提出了HMQ，一个基于Gumbel-Softmax估计器的混合精度量化块，搜索有限的量化方案空间，以覆盖在边缘设备硬件实现中需要的均匀和具有2的幂级别阈值的量化器需求，并在CIFAR10和ImageNet训练的分类模型上应用HMQ，证明在一些情况下，虽然添加了限制，但也能够实现竞争性和最先进的结果。

    Jul, 2020

  • BSQ：探索混合精度神经网络量化的比特级稀疏性

    提出了比特级稀疏量化法（BSQ），通过引入可微比特稀疏正则化，考虑量化权重的每一位作为一个独立可训练变量，实现了每组权重元素的全零位诱导以及实现动态精度降低，使得在CIFAR-10和ImageNet数据集上相对于以往方法，BSQ在各种模型体系结构上获得更高的准确性和比特削减。

    Feb, 2021

  • 可学习的压缩量化技术用于精确低比特神经网络

    本文提出了一种可学习的压缩量化方法(LCQ), 该方法能够灵活地通过优化模型权重和可学习的压缩函数来控制权重和激活的压缩级别，从而优于传统的最先进方法，并缩小量化模型与全精度模型之间的差距。

    Mar, 2021

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • 超低均匀精度量化的自动网络适应

    该论文提出了一种神经网络架构搜索方法——神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在CIFAR10和ImageNet数据集上的2位量化最佳精度，并在较小的FLOPs和参数大小下取得了迄今为止最高的ResNet50 Top-1 / Top-5准确率。

    Dec, 2022

  • Vision Transformer的补丁混合精度量化

    本文提出了一种基于patch的混合精度量化方法，用于ViTs神经网络的高效推理，通过引入轻量级全局度量并采用帕累托前沿法自动分配最佳的位精度来减少搜索成本。实验证明这种方法大大减少了搜索成本，使混合精度量化应用于ViTs变得容易。

    May, 2023

  • EMQ：演化的基于训练无关替代方法的自动混合精度量化

    Mixed-Precision Quantization(MQ)模型的精度与复杂度之间实现了有竞争力的权衡。我们提出了一种自动搜索代理的框架(EMQ)，通过进化算法发现与MQ最相关的代理，实现了代理的自动生成，并在ImageNet上通过广泛的实验证明了其卓越性能。

    Jul, 2023

  • ARQ：一种适用于准确且可证明鲁棒性的混合精度量化框架

    本研究解决了深度神经网络（DNN）在资源有限的计算平台上执行时的量化鲁棒性不足的问题。提出的ARQ方法通过强化学习寻找到既准确又鲁棒的DNN量化方案，同时利用随机平滑技术指导搜索过程，保证了分类器的清洁准确性和认证鲁棒性。实验结果表明，ARQ在多个基准测试中优于传统量化技术，甚至在许多情况下与原始浮点权重的DNN性能相当，但仅需1.5%的指令集。

    Oct, 2024