AAAIFeb, 2021

分布自适应 INT8 量化用于训练 CNNs

PDF
TL;DR本文提出了一种新的 INT8 量化训练框架，其中采用梯度矢量化量化梯度，并引入基于梯度幅度的裁剪策略来解决量化梯度的误差，实验结果表明，在图像分类、物体检测和视频分类等广泛的计算机视觉任务中，所提出的 Distribution Adaptive INT8 Quantization 训练方法已经达到了几乎无损的训练精度，优于现有技术，并且这种方法能够在最新的 Turing 架构下实现训练速度提高 200% 以上。
发现论文，激发创造
  • 面向卷积神经网络的统一 INT8 训练

    本文提出了一个统一的 INT8 训练框架，基于四个梯度特征和两个稳定性原则，以及两种普适性技术，包括方向敏感梯度裁剪和偏移抵消学习率缩放，可以支持各种网络和任务，并在不使用太多优化方法的情况下将训练时间降低了 22％。

    Dec, 2019

  • 使用 8 位整数训练高性能和大规模深度神经网络

    本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

    Sep, 2019

  • 深度卷积网络的量化优化：一篇白皮书

    本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

    Jun, 2018

  • 深度神经网络快速部署的量化技术

    本文介绍了一种将 DNN 网络转化为限定精度以充分利用能源高效加速器的简单方法，通过识别通道级分布以减少量化引起的精度损失和最小化所需的图像采样量，在 ImageNet 分类基准测试上通过了 11 个网络的评估，并且不需要微调即可将网络量化为 8 位整数精度。

    Oct, 2018

  • 神经网络的 8 位训练可扩展方法

    本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

    May, 2018

  • 深度学习推理的整数量化：原理与实证评估

    本文介绍了量化技术如何减小深度神经网络的规模，提高推理延迟和吞吐量，并评估它们在各种应用领域的不同神经网络模型上的选择，包括视觉、语音和语言等方面，并重点介绍适用于高吞吐量整数数学流水线处理器加速的量化技术。同时，还提供了一种 8 位量化工作流，能够在所有研究的网络上保持 1% 的浮点基线精度，包括更难量化的模型，如 MobileNets 和 BERT-large。

    Apr, 2020

  • 针对 MobileNet 的 Subtensor 量化

    本文研究深度神经网络量化的问题，针对不同的架构提出了一些不同的替代方案，并在 ImageNet 数据集上进行了图像分类实验，结果表明后量化准确率与浮点数版本在 0.7％以内。

    Nov, 2020

  • Degree-Quant: 图神经网络的量化感知训练

    本文介绍了一种利用低精度整数算法进行推理的方法，即基于度量化的量化图神经网络，并通过对六个数据集的验证表明，与以往的方法不同，该方法使模型可以推广到未见过的图像，与 FP32 模型相比，在大多数情况下性能相当，在 INT4 模型中我们获得了高达 26％的增益。

    Aug, 2020

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • 神经网络的量化和训练，用于高效的整数运算推理

    本文提出了一种量化方案，通过整数运算进行推断，以提高在移动设备上的效率，并设计了一种训练程序来维护量化后的模型精度。该方案在 MobileNets 模型中展现了显著的改进，在 ImageNet 分类和 COCO 检测等任务上获得了良好的结果。

    Dec, 2017