动态网络量化用于高效视频推理
本文提出了一种动态推断方法,从网络深度和输入视频帧数的角度来提高推断效率,通过在输入帧和计算图的深度之间建立将预测模块放置在预先选择的检查点上,并按照预定义的路径逐步在网格上进行推断,可在中途进行预测和提前停止。通过实例化三个动态推断框架并使用两个知名的骨干卷积神经网络,证明了新方法的优越性。
Feb, 2020
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。
Oct, 2018
该研究提出了一种名为量化卷积神经网络的模型,旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵,实现计算效率的提升和存储内存开销的降低,相对于非量化模型,该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩,仅有 1% 左右的分类准确率损失,并且甚至可以在移动设备上在一秒内精准分类照片。
Dec, 2015
本文提出了一种针对深度模型量化的优化框架和量化算法,首次理论分析单个图层的参数量化误差与模型精度之间的关系,达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。
Dec, 2017
本文提出了一种全新的可完全微分的非均匀量化器,在轻量级神经网络(如 MobileNetV1,MobileNetV2 和 ShuffleNetV2)上取得了最优的准确性 - 复杂度平衡,并成功地解决了将神经网络部署到资源受限设备上的问题。
Jul, 2020
本论文阐述了在深度神经网络方面的云端和边缘协作推断在量化方面的优势,提出了一种基于自动调谐的神经网络量化框架,利用 ImageNet 数据集进行了混合精度合作推理的有效性研究,实验结果显示,该框架可以生成合理的网络分割,并减小移动设备上的存储消耗,同时能够保持较高的准确率。
Dec, 2018
本论文提出了一种基于分层深度强化学习的自动量化技术 AutoQ,可以自动搜索每个权重核的量化位宽,以及每个激活层的另一个量化位宽,并极大地提高了卷积神经网络的推断性能,同时保持了推断精度。
Feb, 2019
本文介绍了动态图像的概念,它是一种新型的紧凑表示方法,可用于视频分析,特别是与卷积神经网络(CNNs)相结合。它允许将任何视频转换为图片,从而可以立即将现有的针对静态图像分析的 CNN 模型扩展到视频,并在动作识别等标准基准测试中实现了最先进的性能。
Dec, 2016
我们提出了一种完全可微的方法,名为 differentiable dynamic quantization (DDQ),可用于学习模型量化中的所有超参数,通过实验表明 DDQ 在像 MobileNet 这样的轻量架构上表现最好,并且 DDQ 是硬件友好型。
Jun, 2021
本研究提出了一个通过利用端到端深度强化学习框架 (ReLeQ) 来自动化发现量化级别的方法,该方法可以在保持准确性的同时,将 DNN 的计算和存储成本最小化。通过对多个神经网络进行实验,结果表明,这种自动化方法最大限度地保留了准确性 (=<0.3% 的损失),并使传统硬件的速度提高了 2.2 倍,同时,与 8 位运行相比,定制的 DNN 加速器的速度提高了 2.0 倍和节能。
Nov, 2018