Dec, 2022

超低均匀精度量化的自动网络适应

PDF
TL;DR该论文提出了一种神经网络架构搜索方法 —— 神经通道扩展，该方法可以适应不同层对于量化误差的敏感度，并在满足硬件约束的情况下，有选择性地扩展量化敏感的层的通道数，从而实现在 CIFAR10 和 ImageNet 数据集上的 2 位量化最佳精度，并在较小的 FLOPs 和参数大小下取得了迄今为止最高的 ResNet50 Top-1 / Top-5 准确率。
neural network quantizationneural architecture searchchannel expansion2-bit quantization accuracyresnet50
发现论文，激发创造
  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

    Nov, 2018

  • 深度神经网络快速部署的量化技术

    本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

    Oct, 2018

  • LQ-Nets: 针对高准确性和紧凑型深度神经网络的学习量化

    本文提出了一种用于深度神经网络（DNN）压缩的联合训练方法，以便同时训练量化器和 DNN，以便量化网络权重和激活，并提高量化模型的预测准确性。在 CIFAR-10 和 ImageNet 数据集上进行的全面实验显示，该方法在各种网络结构上都运行良好，超越了以前的量化方法。

    Jul, 2018

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • AutoQ: 自动化的基于内核的神经网络量化

    本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ，可以自动搜索每个权重核的量化位宽，以及每个激活层的另一个量化位宽，并极大地提高了卷积神经网络的推断性能，同时保持了推断精度。

    Feb, 2019

  • DAQ: 深度图像超分辨率网络通道分布感知量化

    提出了一种基于分布感知的量化方案（DAQ）用于超低精度的训练无需的神经网络量化，可以减少图像超分辨率的计算成本，并超越目前最先进的图像超分辨率网络。

    Dec, 2020

  • 用于粒子探测器边缘低延迟推断的深度神经网络自动异构量化

    本文介绍了一种利用分层、分参数类型的自动量化过程来设计深度神经网络模型的方法，旨在使模型能够在芯片上进行高精度、纳秒级推理和完全自动化部署。这对于 CERN 大型强子对撞机中的事件选择过程至关重要，其中资源严格限制，需要一种纳秒级的推理和降低 50 倍的资源消耗。

    Jun, 2020

  • 用于深度图像压缩的通道级变量量化网络

    本研究提出了一种基于变量量化的控制器，它能动态分配显著通道和微不足道通道的比特率，同时我们提出了一种高斯混合模型量化器，并通过实验证明了我们的方法能够更好地重构图像并取得更好的性能。

    Jul, 2020

  • 自由比特：边缘上混合精度量化神经网络的延迟优化

    该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

    Jul, 2023

  • AdaBits：自适应位宽神经网络量化

    本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为 S-CL 的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

    Dec, 2019