比特宽度自适应、量化感知的神经网络训练：一种元学习方法

ECCVJul, 2022

比特宽度自适应、量化感知的神经网络训练：一种元学习方法

Bitwidth-Adaptive Quantization-Aware Neural Network Training: A Meta-Learning Approach

Jiseok Youn, Jaehun Song, Hyung-Sin Kim, Saewoong Bahk

TL;DR本文提出一种元学习方法，通过重新定义元学习任务来与量化训练 (QAT) 相结合，实现比特宽度自适应量化的目标，并通过开发基于常规优化或度量的元学习方法，在少样本的情况下可适应任何比特宽度及目标类别。实验结果证明其在多种 QAT 方案中的有效性，在不牺牲精度的前提下，将比特宽度合并到元学习任务中可实现更高的鲁棒性。

Abstract

deep neural network quantization with adaptive bitwidths has gained increasing attention due to the ease of model deployment on various pl

deep neural network quantization adaptive bitwidths meta-learning few-shot learning

发现论文，激发创造

AdaQAT：自适应比特宽度量化感知训练

本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

Apr, 2024

QBitOpt：训练过程中快速准确的位宽重新分配

提出了一种名为 QBitOpt 的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在 ImageNet 上评价 QBitOpt 并证实了在固定和混合精度方法中的优越性。

Jul, 2023

AdaBits：自适应位宽神经网络量化

本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为 S-CL 的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

Dec, 2019

多位网络的自适应损失感知量化

研究深度神经网络压缩，提出一种自适应损失感知量化方法 (ALQ) 来加速推理并在低资源移动和嵌入式平台上降低存储需求。实验结果表明，该方法在精度和存储方面优于最先进的压缩网络。

Dec, 2019

量化感知训练：高性能极低比特架构搜索

本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

Oct, 2020

基于混合强化学习的数据质量感知混合精度量化

本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

Feb, 2023

神经网络量化白皮书

介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

Jun, 2021

一种深度神经网络低比特宽度训练的统计框架

本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

Oct, 2020

LLM-QAT: 大型语言模型的无数据量化感知训练

通过提出一种数据无关的蒸馏方法，利用预训练模型生成的结果来实现对语言模型低位量化，包括权重、激活值和 KV Cache，该方法比已有的基于训练后量化和无训练量化方法更适用于低精度位级下的大型语言模型。

May, 2023

LLM 的低秩量化感知训练

大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为 LR-QAT 的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种 PTQ 技术无缝结合，有效提升模型性能并在内存使用上达到与全模型 QAT 相当的水平。

Jun, 2024