Nov, 2017

最小能量量化神经网络

PDF
TL;DR本研究针对量化神经网络（QNNs）的最小能量自动优化进行了探索和分析，发现在相同准确性的情况下，使用更少的位数的 QNNs 需要更深和更宽的网络架构，但需要较简单的算术和较少的权重位数。经过模拟推导，二进制网络或 int4 实施可以实现最小能量解，比在准确性上相同的情况下，int8 网络快 2-10 倍。
quantized neural networksminimum-energy optimizationenergy consumptionlow precision weightsarithmetic
发现论文，激发创造
  • 量化神经网络：用低精度权重和激活训练神经网络

    本研究介绍了一种训练低精度神经网络的方法，该方法使用二进制操作代替计算，达到降低内存大小、减少电力消耗的目的。经过 MNIST、CIFAR-10、SVHN、ImageNet 和 Penn Treebank 数据集的测试，结果表明 1 位权重和 2 位激活的量化版本的 AlexNet 能够达到 51% 的准确率，训练过程中也能使用仅有的二进制操作实现损失函数的计算，并在损失部分的代码上进行了优化，使得 QNN 的运行速度能比未优化的 GPU 加速速度快七倍，并且没有影响分类准确性。

    Sep, 2016

  • 量子化神经网络的简化部署

    本论文介绍了一种将 QNN 推理操作转换为整数推理操作的流程，以及一些基于比特串处理技术的方法，以常见的按位操作有效地部署 QNN。作者展示了 QNN 在移动 CPU 上的潜力，并提供了一个比特串矩阵乘法库。

    Sep, 2017

  • 神经网络的低位量化以提高推理效率

    本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

    Feb, 2019

  • 神经网络的 8 位训练可扩展方法

    本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

    May, 2018

  • 深度神经网络能效实现的后训练量化

    该论文提出了一种基于量化的后训练量化流程，无需重新训练即可加速深度神经网络的推理，并得到了在 ImageNet 上 6 位的 Top-1 准确率增加 2.2% 的结果。

    Oct, 2022

  • 联邦量化神经网络中能量、精度和准确性的平衡

    本文提出了一个基于固定精度的 QNN 的量化 FL 框架，从而在保证收敛的前提下，优化了精度与能耗之间的平衡，实现了在无线网络上的 FL，且相比标准 FL 算法，能耗降低了最多 53%

    Nov, 2021

  • 基于二次幂量化的神经网络能效硬件加速

    通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

    Sep, 2022

  • BoolNet: 二值神经网络能耗最小化

    本文提出了一种名为 BoolNet 的二值神经网络（BNN）架构，该架构不使用常见的 32 位组件，能够在不影响准确性的情况下减少能源消耗，并且与现有的 BNN 架构 Bi-RealNet 相比，能够获得高达 1.2% 的额外准确性和 4.6 倍的能量降低。

    Jun, 2021

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 探究精度量化对神经网络准确度和能耗的影响

    本研究探讨神经网络中不同位精度 (bit-precision) 对网络精度、硬件指标 (存储、功耗、设计面积)、能量消耗等的影响，并提出训练时间方法来弥补位精度降低精度所导致的误差，并表明在降低精度的情况下，可以在设计指标中获得显著的益处，同时提出可以通过增加网络大小来提高精度。

    Dec, 2016