CVPRMar, 2024

PikeLPN: 低精度神经网络的潜在效率问题缓解

PDF
TL;DR低精度量化在神经网络优化中得到广泛应用，非量化的逐元素操作主导了低精度模型的推理成本，本文提出了 ACEv2 以更好地衡量量化模型的推理成本和能耗，并介绍了一种名为 QuantNorm 的批归一化层的新型量化技术，以及应用双量化解决量化缩放参数的问题以及引入 Distribution-Heterogeneous Quantization 来解决可分离卷积层中的分布不匹配问题，PikeLPN 在效率和准确性的权衡中实现 Pareto 优化，并比 SOTA 低精度模型提高了 3 倍的效率。
low-precision quantizationinference costnon-quantized elementwise operationsacev2pikelpn
发现论文，激发创造
  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 针对 2 比特量化神经网络 (QNN) 填补准确率差距的研究

    本研究提出了一种针对权重和激活值分别进行的深度学习量化技术，该技术结合了权重量化方案 SAWB 和激活量化技术 PACT，在多个模型和数据集上实现了媲美全精度网络的最新分类精度。

    Jul, 2018

  • 面向高效 DNN 推理的分布感知对数 Posit 编码算法硬件协同设计

    本研究介绍了一种基于对数正数（LP）的自适应、硬件友好的数据类型，通过参数化 LP 位域，动态适应深度神经网络（DNN）的权重 / 激活分布。我们还开发了一种基于遗传算法的 LP 量化（LPQ）框架，通过新颖的全局 - 局部对比目标减小量化与全精度模型之间的表示差异。此外，我们设计了一个统一的混合精度 LP 加速器（LPA）体系架构，其中计算数据路径中的处理元件（PE）采用 LP。我们的算法 - 硬件协同设计在各种 CNN 和 ViT 模型上实现了平均小于 1% 的 top-1 准确率下降，与使用不同数据类型的最先进量化加速器相比，性能单位面积提高了约 2 倍，并提高了 2.2 倍的能源效率。

    Mar, 2024

  • 神经网络量化的高效训练方法

    提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

    Dec, 2019

  • 深度神经网络后训练分段线性量化

    本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

    Jan, 2020

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 神经网络的低位量化以提高推理效率

    本文提出了一种在有限硬件资源上实现预训练模型的 4 位整数（INT4）量化的优化方法，将线性量化任务形式化为最小均方误差（MMSE）问题，并对网络的每一层进行限制 MSE 问题的优化以及多个量化张量的硬件感知分区，除少量精度降低外，在多种网络架构上实现最先进的结果。

    Feb, 2019

  • 基于二次幂量化的神经网络能效硬件加速

    通过使用二次幂量化和基于位移乘累加运算代替传统的乘累加运算，以及基于对数量化的新型剪枝方法，本文在基于 Zynq UltraScale + MPSoC ZCU104 SoC FPGA 的硬件神经网络加速器中实现了 Power-of-Two (PoT) 权重，实现了至少 $1.4x$ 的能效提升。

    Sep, 2022

  • 神经网络的 8 位训练可扩展方法

    本文探讨了如何通过量化神经网络中的训练参数、激活值、层梯度以及批标准化等内容，最终将图像分类精度控制在一个很好的水平，而这在过去被认为不可行。

    May, 2018

  • 量化 DNN 时代的魔法

    本文提出了一种量化感知训练的方法，通过引入一种独立于小批量大小的新型规范化（Layer-Batch Normalization）和标准化权重的缩放环夹函数对权重进行量化，同时对激活函数使用同样的函数进行量化，并应用替代梯度来训练模型，实验证明我们的量化方法可以在最小的准确性降低下实现。

    Mar, 2024