Feb, 2020

精确门控：通过动态双精度激活提高神经网络效率

HTML
PDF
TL;DR该研究提出一种高效的深度神经网络量化技术 - 精度门控（PG），可以动态地将大部分特征低精度计算，只将少量重要特征使用高精度计算来保证精度，从而大幅减少计算成本，同时保持准确率。该技术适用于各种DNN体系结构和模型，对于CNNs，PG与ImageNet数据集上的最优量化技术相比，准确率相同或更高，但计算耗费只有2.4倍。同时，PG还可以应用于RNNs，并且相比8位均匀量化，其在Penn Tree Bank数据集上的LSTM上获得了1.2％的困惑度提高和2.7倍的计算成本降低。
发现论文，激发创造
  • 使用宽度减少精度网络进行训练和推断

    本研究旨在通过使用一种新的量化方案来缩减激活函数，从而提高计算机视觉应用的性能。我们发现这种方案可以在不降低模型精度的情况下，大大降低动态内存占用、内存带宽、计算能量并加速训练和推理过程。我们称其为宽面减少精度网络，研究表明其结果优于以前提出的精度网络。

    Apr, 2017

  • 可学习正则化的稀疏低精度神经网络学习

    本文提出了一种使用低精度权重和操作的DNN学习方法，利用可学习的正则化系数来加强高精度权重收敛到量化值的能力，并研究了如何通过权重剪枝、量化和熵编码来建立低精度DNN压缩管道，实验结果显示该方法可以在ImageNet分类和图像超分辨率网络的任务中取得与准确性相对可接受的最新压缩比。

    Sep, 2018

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 通过约束优化实现神经网络混合精度量化

    采用离散约束优化问题和二阶泰勒展开，提出了解决深度神经网络中多精度量化问题的一种高效算法，并在ImageNet数据集和各种网络体系结构上得出了比现有方法更优的结果。

    Oct, 2021

  • 混合精度神经网络综述

    本文介绍了混合精度框架优化技巧的现有文献，并对常用的量化技巧进行了总结，其中部分框架运用的优化技巧为强化学习和确定性舍入，文章讨论了每种框架的优点和缺陷，并且为未来的混合精度框架提供了指导。

    Aug, 2022

  • 基于分块动态精度神经网络培训加速的在线量化敏感性分析

    提出了一种动态精度神经网络训练框架 DYNASTY，通过快速在线分析提供准确的数据敏感度信息并通过自适应位宽映射生成器维持稳定的训练收敛性，与传统 8 位量化相比，DYNASTY 在 CIFAR-100 和 ImageNet 数据集上带来高达 5.1 倍的加速和 4.7 倍的能耗降低，无误差降低及可忽略的硬件开销。

    Oct, 2022

  • GHN-QAT：训练图超网络以预测在未见过的有限精度神经网络中抗量化参数

    通过研究我们发现，量化感知训练可以显著提高4位量化CNN的GHN预测参数的精确性，甚至可以让2位量化CNN的GHN预测参数的精确性超过随机结果。这些有希望的结果为未来的研究开辟了新的方向。

    Sep, 2023

  • PikeLPN: 低精度神经网络的潜在效率问题缓解

    低精度量化在神经网络优化中得到广泛应用，非量化的逐元素操作主导了低精度模型的推理成本，本文提出了ACEv2以更好地衡量量化模型的推理成本和能耗，并介绍了一种名为QuantNorm的批归一化层的新型量化技术，以及应用双量化解决量化缩放参数的问题以及引入Distribution-Heterogeneous Quantization来解决可分离卷积层中的分布不匹配问题，PikeLPN 在效率和准确性的权衡中实现 Pareto 优化，并比SOTA低精度模型提高了3倍的效率。

    Mar, 2024

  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得Pareto最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024