介绍了一种数据自由的量化深度神经网络方法,采用固定 8 位定点量化的方式来提高计算效率,并且通过处理激活函数中的比例等变性和纠正误差偏差来提高性能和准确度,可应用于常见的计算机视觉架构和任务中,以 API 调用的形式提高量化模型的性能和表现。
Jun, 2019
本文提出了一种针对深度模型量化的优化框架和量化算法,首次理论分析单个图层的参数量化误差与模型精度之间的关系,达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。
Dec, 2017
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。
Oct, 2018
该论文提出了一种将低位量化作为可微非线性函数的新方法,并通过该方法实现了神经网络的低位量化,并取得了比现有方法更好的效果。
Nov, 2019
本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数(INT4)量化的优化方法,将线性量化任务形式化为最小均方误差(MMSE)问题,并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区,除少量精度降低外,在多种网络架构上实现最先进的结果。
Feb, 2019
本文研究深度神经网络量化的问题,针对不同的架构提出了一些不同的替代方案,并在 ImageNet 数据集上进行了图像分类实验,结果表明后量化准确率与浮点数版本在 0.7%以内。
Nov, 2020
本文提出一种不同的量化方法,使用不同的参数化方法来训练深度神经网络,从而达到更高效深度神经网络推理的效果。通过多组实验验证,使用该方法训练得到的量化参数可以达到最佳效果。
May, 2019
利用低精度的神经网络进行量化,可以通过减少内存消耗和优化位运算实现更高的效率。本文提出低精度神经网络的第三个优点是在一些对抗攻击中有更好的鲁棒性,最坏情况下的表现也可以与高精度模型媲美。作者着重于量化权重和激活到 +-1 的非缩放二进制神经网络,在黑盒和白盒实验中探究其应对逐步攻击的能力。该方法可以在不人为掩盖梯度的情况下保证模型的安全性。
Nov, 2017
本篇论文研究了深度神经网络的低精度模型的训练方法,探讨了在小型设备上训练深度神经网络的难点,提出了一种理论视角下的量化训练方法,并探索了非凸问题下的算法行为模型。
Jun, 2017
本文采用经典监督图像分类任务,研究了在不同威胁模型下量化神经网络的对抗鲁棒性,结果表明,量化不能提供任何强大的保护性,并提出了关于量化值偏移现象和梯度不对齐的假设以及如何利用基于集成的防御性能。
Sep, 2019