Apr, 2024

AdaQAT：自适应比特宽度量化感知训练

PDF
TL;DR本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。
large-scale deep neural networksmodel quantizationbit-width optimizationquantization-aware trainingmixed-precision quantization
发现论文，激发创造
  • AdaBits：自适应位宽神经网络量化

    本文研究了一种通过使权重和激活的位宽自适应来实现神经网络自适应配置的新方法，并探究了直接适应、渐进适应和联合训练等多种方法，最终提出了一种称为 S-CL 的新技术，证明了通过位宽自适应可以在实现高精度的同时实现高效率，从而在真实世界应用中快速适配。

    Dec, 2019

  • 比特宽度自适应、量化感知的神经网络训练：一种元学习方法

    本文提出一种元学习方法，通过重新定义元学习任务来与量化训练 (QAT) 相结合，实现比特宽度自适应量化的目标，并通过开发基于常规优化或度量的元学习方法，在少样本的情况下可适应任何比特宽度及目标类别。实验结果证明其在多种 QAT 方案中的有效性，在不牺牲精度的前提下，将比特宽度合并到元学习任务中可实现更高的鲁棒性。

    Jul, 2022

  • QBitOpt：训练过程中快速准确的位宽重新分配

    提出了一种名为 QBitOpt 的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在 ImageNet 上评价 QBitOpt 并证实了在固定和混合精度方法中的优越性。

    Jul, 2023

  • 自适应核心集选择的高效量化感知训练

    本文提出一种基于 coreset selection 的 quantization-aware adaptive coreset selection (ACS) 方法，以提高 quantization-aware training 的训练效率。该方法通过 error vector score 和 disagreement score 量化每个样本的重要性，并根据这些指标选择数据进行训练，在多个网络和数据集上获得了显著的提高。

    Jun, 2023

  • 一种深度神经网络低比特宽度训练的统计框架

    本论文提出了一个用于分析全量化训练算法的统计框架，并探讨了梯度量化对其收敛性的影响。作者开发了两个新的梯度量化器，并展示了这些量化器相对于现有的每个张量量化器具有更小的方差。

    Oct, 2020

  • 神经网络量化白皮书

    介绍了现代神经网络中减少计算成本和提高性能的两种量化算法： Post-Training Quantization 和 Quantization-Aware Training。

    Jun, 2021

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • 量化感知训练：高性能极低比特架构搜索

    本文提出一种结合网络架构搜索和量化的方法 (OQAT)，通过联合训练网络架构和量化并引入位继承方案来获得更高的量化准确率并在不同位宽下实现了新的最优结果。

    Oct, 2020

  • EfficientDM: 高效的低位扩散模型量化感知微调

    提出了一种数据自由且参数高效的优化方法 EfficientDM，它通过引入量化感知的低秩适配器 QALoRA 来实现 QAT 级别的性能与 PTQ 的效率相似，从而优化低位扩散模型的性能，并且在时间和数据效率方面显著超过之前基于 PTQ 的扩散模型。

    Oct, 2023

  • EdgeQAT：基于熵和分布的量化感知训练用于边缘轻量级语言模型加速

    提出了一种新的轻量级语言模型优化方法 EdgeQAT，通过熵和分布引导的量化感知训练，动态量化不同位宽的令牌，从而在边缘设备上实现推理加速，并实验证明其与 FP16 模型相比在多个边缘设备上可以达到高达 2.37 倍的速度提升。

    Feb, 2024