Mar, 2018

移动网络中量化友好的可分离卷积

PDF
TL;DR本文分析了 MobileNetV1 量化造成的精度损失问题，并提出了一种友好于量化的可分离卷积架构，经 ImageNet2012 数据集测试，我们改进后的 MobileNetV1 模型能够以 8 位推理精度达到 68.03%，几乎与其浮点精度模型无异。
发现论文，激发创造
  • 针对 MobileNet 的 Subtensor 量化

    本文研究深度神经网络量化的问题，针对不同的架构提出了一些不同的替代方案，并在 ImageNet 数据集上进行了图像分类实验，结果表明后量化准确率与浮点数版本在 0.7％以内。

    Nov, 2020

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 所有 MobileNets 都量化得不好吗？通过多尺度分布动力学视角深入探究量化对深度可分离卷积网络的影响

    通过分析 MobileNets 在量化后的分布动态中的不匹配性、动态范围波动、以及 DWSCNN 较传统 CNN 更易受到量化累积误差等现象，揭示了 DWSCNN 量化表现不佳的根本原因。这些认知或许能帮助未来发展出纠正此类问题，提高移动上的后训练量化表现的策略。

    Apr, 2021

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • 量化卷积神经网络以用于低功耗高吞吐量推理引擎

    本文提出了一种量化方案，通过在参考浮点模型上校准而不是重新训练来确定量化方案参数，从而实现了基于更高效的算术进行推理，并且在量化后的结果中，终端到终端精度可与基准模型相当。

    May, 2018

  • 深度神经网络快速部署的量化技术

    本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

    Oct, 2018

  • 量子化神经网络的简化部署

    本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

    Sep, 2017

  • 可微神经架构搜索进行卷积网络的混合精度量化

    该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

    Nov, 2018