Jun, 2023

通过支撑和质量均衡设计三元神经网络量化的强基准线

PDF
TL;DR本研究探讨深度神经网络的量化，并设计 TQuant 和 MQuant 两个操作符以最大化最小化的误差从而显著提高性能。
deep neural networksquantizationtquantmquantperformance
发现论文，激发创造
  • 训练三值量化

    本文介绍了一种基于训练的三元量化方法，该方法可帮助在移动设备上部署具有限功率预算的神经网络模型，该方法在降低权重精度的同时保持高准确性，并通过实验表明该模型在 CIFAR-10 和 ImageNet 上的性能优于传统方法。

    Dec, 2016

  • 三值量化：一项调查

    本研究综述了深度神经网络模型压缩方法中的一种，三值量化。研究回顾了三值量化的发展历程，并从投影函数和优化方法的角度研究了现有的三值量化方法之间的关系。

    Mar, 2023

  • DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

    本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

    Jul, 2020

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 利用截断高斯近似同时优化三值神经网络的权重和量化器

    本篇研究提出了一种新型的三值神经网络训练方法，使用删节高斯近似法将重量三值化的阈值合并到封闭形式的表示中，同时优化重量和量化器，在 Imagenet 分类任务中实现了与完全精度相比仅有的 3.9/2.52/2.16% 的精度下降。

    Oct, 2018

  • 利用精细量化的三元神经网络

    本文提出了一种精细的量化方法 (Fine-grained Quantization, FGQ)，该方法可对预训练的全精度模型进行三值化，同时将激活限制为 8 位和 4 位。通过该方法，我们证明了无需额外训练，就可以在最先进的拓扑结构上实现最小分类精度损失。该方法可用于 Resnet-101 和 Resnet-50 等模型，可以消除 75% 的乘法运算，从而实现完整的 8/4 位推理管道，并在 ImageNet 数据集上实现最佳报告精度，性能提升潜力高达 9 倍。最终的量化模型可以在全精度模型的基础上提高 15 倍的性能。

    May, 2017

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 深度神经网络固定点推断的准确有效的训练量化阈值

    使用标准反向传播和梯度下降法提出了一种对均匀对称量化器进行训练阈值（TQT）的方法，能够以 8 位量化重新训练不到 5 次即可在 MobileNets 等传统难度网络上实现接近浮点精度的分类性能。

    Mar, 2019

  • 通过权值均衡和偏置校正实现零数据量量化

    介绍了一种数据自由的量化深度神经网络方法，采用固定 8 位定点量化的方式来提高计算效率，并且通过处理激活函数中的比例等变性和纠正误差偏差来提高性能和准确度，可应用于常见的计算机视觉架构和任务中，以 API 调用的形式提高量化模型的性能和表现。

    Jun, 2019

  • 使用 8 位整数训练高性能和大规模深度神经网络

    本文提出了一种名为 WAGEUBN 的统一完整量化框架，可将神经网络的数据路径（包括所有数据类型 W，A，G，E，U 和 BN）中所有数据转换为低位整数以实现全面量化和在线训练，并在 ImageNet 数据集上获得了可比较的精度，展示了在大规模 DNNs 中 8 位 INT 级别的完整量化的功能性。

    Sep, 2019