通过动态定点数编程,将深度神经网络(DNNs)从浮点数向量转换为 8 位定点数,从而实现低功耗和能耗,并增加分类准确性。
May, 2017
本文介绍了混合精度框架优化技巧的现有文献,并对常用的量化技巧进行了总结,其中部分框架运用的优化技巧为强化学习和确定性舍入,文章讨论了每种框架的优点和缺陷,并且为未来的混合精度框架提供了指导。
Aug, 2022
本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法,通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量,在 ImageNet 分类基准测试上通过了 11 个网络的评估,并且不需要微调即可将网络量化为 8 位整数精度。
Oct, 2018
该研究考虑了使用不同精度数据的卷积神经网络对其分类准确性的影响,发现误差容限不仅在不同网络之间有差异,而且在网络内部也有变化;进一步提出了一种方法,可以找到网络的低精度配置,同时保持高准确性。研究表明,相对于在所有层中使用 32 位浮点表示的传统实现,数据足迹可以平均减少 74%,最高可降至 92%,而相对准确性损失不到 1%。
Nov, 2015
本文介绍了使用较低的精度来训练深度神经网络的成功实践,通过引入基于块的操作和浮点随机取整等技术,成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础,并具有提高 2-4 倍吞吐量的潜力。
Dec, 2018
本文提出一种不同的量化方法,使用不同的参数化方法来训练深度神经网络,从而达到更高效深度神经网络推理的效果。通过多组实验验证,使用该方法训练得到的量化参数可以达到最佳效果。
May, 2019
介绍了一种使用半精度浮点数训练深度神经网络的技术,通过减少内存消耗和利用未来处理器的半精度硬件单元,大幅提高模型训练的计算速度。
Oct, 2017
该研究探索了一种新的神经网络压缩方法,通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化,成功地实现了比现有方法更高的压缩率,模型尺寸缩小 21.1 倍或计算量降低 103.9 倍
Nov, 2018
本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法,减少计算精度和主权重复制的精度要求,并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明,所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。
通过调整激活函数范围并使用精细调整的预训练模型来组合简单技术,可以发现与 fp32 模型接近的低精度模型,同时提高了效率,本文证明了 4 位精度足以进行分类。
Sep, 2018