Nov, 2019
HAWQ-V2: 基于 Hessian 感知的神经网络权重量化
HAWQ-V2: Hessian Aware trace-Weighted Quantization of Neural Networks
Zhen Dong, Zhewei Yao, Yaohui Cai, Daiyaan Arfeen, Amir Gholami...
TL;DR研究混合精度量化的方法,使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题,并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制,包括使用平均值作为敏感度度量的改进版本,使用 Pareto 前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测,并获得了最新的最优结果。