Sep, 2019

使用 8 位整数训练高性能和大规模深度神经网络

PDF
TL;DR本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。
发现论文，激发创造
  • 深度神经网络快速部署的量化技术

    本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

    Oct, 2018

  • 神经网络的 8 位训练可扩展方法

    本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

    May, 2018

  • 使用 8 位浮点数训练深度神经网络

    本文介绍了使用较低的精度来训练深度神经网络的成功实践，通过引入基于块的操作和浮点随机取整等技术，成功地实现了在 8 位浮点数下对多种深度学习模型和数据集进行了精确的训练。这些新技术为新一代硬件训练平台奠定了基础，并具有提高 2-4 倍吞吐量的潜力。

    Dec, 2018

  • 使用 8 位浮点数进行混合精度训练

    本文介绍了一个使用 8 位浮点表示法训练深度神经网络的方法，减少计算精度和主权重复制的精度要求，并且通过强化误差传播和降低量化噪声的方法来提高模型性能。实验表明，所提出方法在多个数据集和不同工作负载下与精度基线相比不降反升。

    May, 2019

  • 深度神经网络能效实现的后训练量化

    该论文提出了一种基于量化的后训练量化流程，无需重新训练即可加速深度神经网络的推理，并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。

    Oct, 2022

  • 深度学习推理的整数量化：原理与实证评估

    本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

    Apr, 2020

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017

  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

    Jun, 2018

  • 面向卷积神经网络的统一 INT8 训练

    本文提出了一个统一的 INT8 训练框架，基于四个梯度特征和两个稳定性原则，以及两种普适性技术，包括方向敏感梯度裁剪和偏移抵消学习率缩放，可以支持各种网络和任务，并在不使用太多优化方法的情况下将训练时间降低了 22％。

    Dec, 2019