NITRO-D: 深度卷积神经网络的原生整数训练
本文提出了一种量化方案,通过整数运算进行推断,以提高在移动设备上的效率,并设计了一种训练程序来维护量化后的模型精度。该方案在MobileNets模型中展现了显著的改进,在ImageNet分类和COCO检测等任务上获得了良好的结果。
Dec, 2017
本文使用整数计算方法,利用动态定点方案为常规神经网络操作提供合适的实现,研究在常规通用硬件上进行 ImageNet-1K 数据集上的视觉理解神经网络训练,并且实现的神经网络在相同迭代次数下,不增加超参数的情况下超过了SOTA的精度,并提高了1.8倍的训练吞吐量,这是使用SOTA CNN对ImageNet-1K数据集进行INT16训练的首次最高准确性结果。
Feb, 2018
本文概述了卷积神经网络量化技术,研究发现通过对权重和激活进行逐通道和逐层量化,即使在不支持8位运算的情况下,将权重量化为8位可以将模型大小降低4倍,并且分类的准确率可以达到浮点型卷积神经网络的98%。作者介绍了针对CPU和DSP的量化网络的等待时间基准测试,并观察到相比于CPU上的浮点运算,量化实现的速度提高了2倍至3倍。作者提出了一种通过TensorFlow和TensorFlowLite进行卷积网络量化的工具,并回顾了用于量化训练的最佳实践。作者建议,对于硬件加速和内核优化,应将逐通道量化的权重和逐层量化的激活作为首选量化方案,并提议未来处理器和硬件加速器用于优化推断时支持4、8和16位的精度。
Jun, 2018
本文提出了三种实用方法来优化低精度深度卷积神经网络,包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明,该方法在各种数据集上表现良好。
Aug, 2019
本文提出了一种名为WAGEUBN的统一完整量化框架,可将神经网络的数据路径(包括所有数据类型W,A,G,E,U和BN)中所有数据转换为低位整数以实现全面量化和在线训练,并在ImageNet数据集上获得了可比较的精度,展示了在大规模DNNs中8位INT级别的完整量化的功能性。
Sep, 2019
本文提出了一个统一的 INT8 训练框架,基于四个梯度特征和两个稳定性原则,以及两种普适性技术,包括方向敏感梯度裁剪和偏移抵消学习率缩放,可以支持各种网络和任务,并在不使用太多优化方法的情况下将训练时间降低了22%。
Dec, 2019
本文介绍了量化技术如何减小深度神经网络的规模,提高推理延迟和吞吐量,并评估它们在各种应用领域的不同神经网络模型上的选择,包括视觉、语音和语言等方面,并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时,还提供了一种8位量化工作流,能够在所有研究的网络上保持1%的浮点基线精度,包括更难量化的模型,如MobileNets和BERT-large。
Apr, 2020
本文旨在综述深度神经网络计算中数值量化的方法和优缺点,囊括了使用固定整数值的优点、及降低4x到8x等现实应用中的实际结果,以及占用更少的内存和降低延迟的潜力。
Mar, 2021
该研究论文提出了一种使用整数操作进行DNN训练和推理的框架“PocketNN”,并使用“直接反馈对齐(DFA)”算法训练每一层,避免了整数溢出的问题,实验结果表明它在MNIST和Fashion-MNIST数据集上的准确性与使用BP算法相当接近,同时具有高度的兼容性和可移植性。
Jan, 2022
本文提出一种新的深度神经网络固定点量化框架(FxP-QNet),该框架可以在保证网络精度的前提下,根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试(ImageNet)中,模型的内存需求得到了7.16倍-10.36倍的压缩,同时准确率只有不到2%的损失。
Mar, 2022