基于固定点量化感知训练的设备端关键词检测

Mar, 2023

基于固定点量化感知训练的设备端关键词检测

Fixed-point quantization aware training for on-device keyword-spotting

Sashank Macha, Om Oza, Alex Escott, Francesco Caliva, Robbie Armitano...

TL;DR本研究旨在提出一种新的 FXP 卷积关键词检测模型的训练方法，结合了两种量化感知训练技术 - 压缩权重分布和模型参数的绝对余弦正则化，同时还提出了针对瞬变变量的 QAT 技术，通过实验结果表明我们可以在不降低准确性的情况下将模型精度降低至 4 位，并且在推断阶段 FXP-QAT 消除了 Q 格式规范化并可以使用低比特累加器，同时利用最大内核 SIMD 减少用户感知延迟，降低了 68% 的执行时间。

Abstract

Fixed-point (FXP) inference has proven suitable for embedded devices with limited computational resources, and yet model training is continually performed in floating-point (FLP). fxp training has not been fully explored and the non-trivial conversion from FLP to FXP presents unavoidab

fixed-point inference fxp training quantization-aware-training convolutional neural networks keyword-spotting

发现论文，激发创造

可训练的固定点量化用于在 FPGA 上加速深度学习

通过 QFX 可在 FPGA 上实现固定点量化，提高模型在 CIFAR-10 和 ImageNet 数据集上的准确度和性能。

Jan, 2024

FLIQS: 单次混合精度浮点数与整数量化搜索

量化已成为现代深度神经网络的主流压缩技术，本文提出了一种一次性的混合精度量化搜索方法，通过整数和低精度浮点模型在不需要重新训练的情况下提高了 ResNet-18 和 ResNet-50 在 ImageNet 上的准确性，并探索了混合精度浮点搜索和量化与神经架构空间的联合搜索。

Aug, 2023

FxP-QNet: 一种用于混合低精度 DNN 设计的训练后量化器，采用动态定点表示

本文提出一种新的深度神经网络固定点量化框架 (FxP-QNet)，该框架可以在保证网络精度的前提下，根据网络对低精度的需求动态地设计不同精度的量化级别。在基准测试 (ImageNet) 中，模型的内存需求得到了 7.16 倍 - 10.36 倍的压缩，同时准确率只有不到 2% 的损失。

Mar, 2022

ZeroQuant-FP: 使用浮点格式的 LLM 后训练 W4A8 量化的飞跃

使用浮点量化在大型语言模型中表现出色，尤其是 FP8 和 FP4 的浮点数，在模型参数超过十亿时性能优势更加明显。对于权重量化来说，FP4 与 INT4 相比表现出可比、甚至更好的性能，简化了在支持 FP 的硬件上部署。对于通过权重和激活之间差异引起的精度对齐开销，我们提出了两个权重量化的缩放约束条件，对性能的影响微乎其微，与标准的 W4A8 模型相比。此外，我们还结合了低秩补偿（LoRC）策略来增强量化方法，特别适用于较小的模型。研究结果强调了浮点量化在大型语言模型中的巨大潜力，为资源受限环境中的高效部署铺平了道路。

Jul, 2023

冻住！通过信号传播分析提高大型语言模型的量化知识蒸馏

该研究提出了一种轻量级量化感知微调技术，使用知识蒸馏来改进 4 位权重量化大语言模型的性能，并通过对梯度传播进行实证研究以稳定 KD-QAT 过程。通过 ov-freeze 技术，在 4 位量化级别上实现了接近浮点精度性能，在常识推理基准测试中精度损失不超过 0.7%。

Mar, 2024

一种深度神经网络低比特宽度训练的统计框架

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

LLM-FP4: 4 位浮点数量化变压器

我们提出了 LLM-FP4，在训练后将大型语言模型（LLM）的权重和激活量化为 4 位浮点数值。

Oct, 2023

FP8-BERT：Transformer 的后训练量化

本文通过对 GLUE 和 SQuAD v1.1 数据集上的 BERT 变种进行大量实验，验证了 FP8 作为一种进行后训练量化的有效方式，能够在不显著损失精度的情况下提高准确性。

Dec, 2023

低功耗边缘微控制器上的关键词识别系统及修剪和量化方法的评估

本文介绍了一种在微控制器上运行的小型模型，可用于边缘计算中的关键词检测，该模型采用卷积神经网络进行训练并针对微控制器限制中的深度学习和低延迟要求进行了简化，还评估了在微控制器上不同的修剪和量化方法对系统性能的影响。

Aug, 2022

深度卷积网络的量化优化：一篇白皮书

本文概述了卷积神经网络量化技术，研究发现通过对权重和激活进行逐通道和逐层量化，即使在不支持 8 位运算的情况下，将权重量化为 8 位可以将模型大小降低 4 倍，并且分类的准确率可以达到浮点型卷积神经网络的 98%。作者介绍了针对 CPU 和 DSP 的量化网络的等待时间基准测试，并观察到相比于 CPU 上的浮点运算，量化实现的速度提高了 2 倍至 3 倍。作者提出了一种通过 TensorFlow 和 TensorFlowLite 进行卷积网络量化的工具，并回顾了用于量化训练的最佳实践。作者建议，对于硬件加速和内核优化，应将逐通道量化的权重和逐层量化的激活作为首选量化方案，并提议未来处理器和硬件加速器用于优化推断时支持 4、8 和 16 位的精度。

Jun, 2018