使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

Jun, 2023

使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

Augmenting Hessians with Inter-Layer Dependencies for Mixed-Precision Post-Training Quantization

Clemens JS Schaefer, Navid Lambert-Shirzad, Xiaofan Zhang, Chiachen Chou, Tom Jablin...

TL;DR提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。该方法可以降低内存占用并提高延迟，同时保持模型准确性。

Abstract

Efficiently serving neural network models with low latency is becoming more challenging due to increasing model complexity and parameter count. Model quantization offers a solution which simultaneously reduces memory footprint and compute requirements. However, aggressive quantization

neural network model quantization mixed-precision post training quantization hessian information model accuracy

发现论文，激发创造

HAWQ：混合精度的神经网络海森矩阵感知量化

本研究介绍了一种基于 Hessian 矩阵的自适应量化方法（HAWQ），可实现神经网络中各层的不同量化精度，并通过对 ResNet20、Inception-V3、ResNet50 和 SqueezeNext 模型的评测结果表明，与先前的方法相比，HAWQ 可以减小模型大小，同时提高精度。

Apr, 2019

无需反向传播的注意力感知后训练量化

提出了一种不依赖于反向传播的新型 PTQ 算法，通过开发具有注意力机制的 Hessian 矩阵来考虑层间依赖关系，从而显著优于传统的 PTQ 方法，特别是在低位宽情况下。

Jun, 2024

APTQ：针对大型语言模型的注意力感知后训练混合精度量化

通过引入 APTQ（关注感知的后训练混合精度量化），该研究提出了一种在大规模语言模型上进行混合精度量化的方法，利用 Hessian 迹作为灵敏度指标，以实现在模型性能保持的前提下进行精度降低，并取得了优于以往量化方法的效果。

Feb, 2024

EPTQ：通过无标签海森矩阵增强的后训练量化

本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。

Sep, 2023

自由比特：边缘上混合精度量化神经网络的延迟优化

该论文提出了一种混合精度搜索方法，该方法通过硬件无关的可微分搜索算法和硬件感知优化算法来寻找特定硬件目标上的优化后的混合精度配置，以减少模型大小、延迟并保持统计准确性，该方法在 MobileNetV1 和 MobileNetV2 上进行了评估，在具有不同硬件特性的多核 RISC-V 微控制器平台上展示了与 8 位模型相比高达 28.6% 的端到端延迟降低，在没有对子字节算术支持的系统上也能实现加速，同时在代表延迟的减少二进制运算次数上，我们的方法也表现出优越性。

Jul, 2023

HAWQ-V2: 基于 Hessian 感知的神经网络权重量化

研究混合精度量化的方法，使用 Hessian 分析来解决由于过度量化而导致的模型泛化下降问题，并提出了 HAWQV2 来解决先前 HAWQV1 中出现的三个主要限制，包括使用平均值作为敏感度度量的改进版本，使用 Pareto 前沿方法进行自动性能最优的混合精度比特精度选择以及考虑混合精度激活量化。进行了对象检测，并获得了最新的最优结果。

Nov, 2019

Q-BERT: 基于 Hessian 的 BERT 超低精度量化

本文通过使用 Hessian 信息对 BERT 模型进行精细调整的广泛分析，提出了一种超低精度量化 BERT 模型的新方法，并对 SST-2、MNLI、CoNLL-03 和 SQuAD 等多项下游任务进行了广泛的测试，证明我们的新方法实现了与基线相当的性能。

Sep, 2019

通过训练后的层内多精度量化减少 DNN 内存占用

为了在资源受限的边缘设备上部署深度神经网络模型并保护隐私，本文介绍了一种有效减小深度神经网络内存占用的技术，该技术名为后训练内层多精度量化（PTILMPQ），通过估计网络中层和通道的重要性，实现了在量化过程中的精确位分配。实验结果表明，PTILMPQ 为在内存资源受限的边缘设备上部署深度神经网络提供了有希望的解决方案，例如，在 ResNet50 的情况下，它以 9.5MB 的内存占用达到了 74.57% 的准确率，相比之前类似方法减小了 25.49%，仅有 1.08% 的准确率下降。

Apr, 2024

基于梯度的神经网络芯片上每权重混合精度量化

通过高精度量化训练方法，减少模型大小和推理速度，提高 FPGA 部署的低延迟和低功耗神经网络的资源利用率，同时保持准确性。

May, 2024

迈向超大规模 Transformer 的下一级后训练量化

本文提出了一种新颖的 PTQ 算法 aespa，通过逐层量化实现高效性，同时考虑跨层依赖以保留注意力分数，通过对多种语言模型的广泛实验和复杂度分析，证明了 aespa 在量化 Transformer 模型时具备准确性和高效性。

Feb, 2024