ICCVApr, 2019

HAWQ：混合精度的神经网络海森矩阵感知量化

PDF
TL;DR本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法相比，HAWQ 可以减小模型大小，同时提高精度。
发现论文，激发创造
  • HAWQ-V2: 基于 Hessian 感知的神经网络权重量化

    研究混合精度量化的方法，使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题，并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用 Pareto 前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测，并获得了最新的最优结果。

    Nov, 2019

  • HAWQV3：二元神经网络量化

    HAWQV3 提出了一种新型的混合精度整数量化框架，通过纯整数运算、硬件感知混合精度量化和直接硬件部署方法，实现了模型压缩和量化加速，其中 INT8 量化的准确率比之前的整数方法提高了 2.68％，同时混合精度的 INT4/8 量化可以将 INT8 的延迟降低 23％且仍能保持 76.73％的准确率。

    Nov, 2020

  • 通道维度 Hessian 感知迹加权量化神经网络

    通过使用通道数量更少的针对 Hessian 迹的量化方法，结合使用基于深度强化学习的代理寻找最佳量化位和通道分配的方法，可以获得更好的结果。

    Aug, 2020

  • HAQ: 硬件感知自动混合精度量化

    本文介绍了一种基于深度强化学习的硬件感知自适应量化方法，将硬件加速器的反馈置于设计循环中以自动确定量化策略，该方法可以为不同的神经网络架构和硬件架构专门量身定制量化策略。与传统方法相比，该方法可以将延迟降低 1.4-1.95 倍，能量消耗降低 1.9 倍，并提供了不同量化策略的含义，为神经网络架构设计和硬件架构设计提供了新的思路。

    Nov, 2018

  • 使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

    提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。 该方法可以降低内存占用并提高延迟，同时保持模型准确性。

    Jun, 2023

  • 基于梯度的神经网络芯片上每权重混合精度量化

    通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

    May, 2024

  • 基于硬件的混合精度量化自动机器学习

    本文提出了一种基于深度强化学习的硬件感知自动量化框架 (HAQ)，旨在为不同的神经网络体系结构和硬件体系结构确定最佳的量化策略，以提高计算效率并在保持准确性的前提下减少延迟和能耗。 在硬件仿真器的帮助下，该框架的有效性已得到证明。

    Aug, 2020

  • 面向 FPGAs 和 ASICs 的 Hessian 感知量化神经网络的端对端协同设计

    利用 Hessian-aware quantization (HAWQ) 来量化神经网络（NNs），Quantized Open Neural Network Exchange（QONNX）中间表示和 hls4ml 到 FPGA 和 ASIC 固件的工具流程将 NNs 高效地实现在硬件上，并在粒子物理应用程序中展示了这个工作流程，包括使用混合精度 NN 分类器对 HLC 质子 - 质子碰撞中的高动量粒子喷流进行优化。

    Apr, 2023

  • HadaNets: 神经网络的灵活量化策略

    该研究论文介绍了一种名为 HadaNets 的新型神经网络模型，可以在不占用太多内存和训练时间的情况下有效地训练和推理深度神经网络，同时具有优秀的模型压缩性能。

    May, 2019

  • Q-BERT: 基于 Hessian 的 BERT 超低精度量化

    本文通过使用 Hessian 信息对 BERT 模型进行精细调整的广泛分析，提出了一种超低精度量化 BERT 模型的新方法，并对 SST-2、MNLI、CoNLL-03 和 SQuAD 等多项下游任务进行了广泛的测试 ，证明我们的新方法实现了与基线相当的性能。

    Sep, 2019