Jun, 2023

自适应核心集选择的高效量化感知训练

PDF
TL;DR本文提出一种基于 coreset selection 的 quantization-aware adaptive coreset selection (ACS) 方法，以提高 quantization-aware training 的训练效率。该方法通过 error vector score 和 disagreement score 量化每个样本的重要性，并根据这些指标选择数据进行训练，在多个网络和数据集上获得了显著的提高。
deep neural networksquantization-aware trainingcoreset selectionmodel compressiontraining efficiency
发现论文，激发创造
  • AdaQAT：自适应比特宽度量化感知训练

    本文介绍了 AdaQAT，一种基于学习的方法，用于在训练过程中自动优化深度神经网络的权重和激活信号的比特宽度，以实现更高效的推断。相比其他方法，AdaQAT 在从头开始训练和微调场景中表现良好，并在 CIFAR-10 和 ImageNet 数据集上使用 ResNet20 和 ResNet18 模型表明我们的方法与最先进的混合精度量化方法竞争力强。

    Apr, 2024

  • RAND：针对量化 Seq2seq 模型的鲁棒性感知范数衰减

    本文提出了一种低复杂度的量化感知训练方法，以将 4 位序列到序列模型应用于语音识别数据集，并在模型精度方面优于常见的学习比例尺和裁剪方法。

    May, 2023

  • LLM 的低秩量化感知训练

    大型语言模型经常遇到计算和存储需求增加的挑战，为此我们提出了一种名为 LR-QAT 的轻量级、存储高效的量化感知训练算法，通过使用低秩辅助权重、固定点或双包整数的强制转换运算符以及检查点等组件，我们可以在不牺牲预测性能的情况下节省内存，该方法可应用于多种量化设置并与多种 PTQ 技术无缝结合，有效提升模型性能并在内存使用上达到与全模型 QAT 相当的水平。

    Jun, 2024

  • 8 位神经网络加速器的小于 8 位量化感知训练，用于设备上的语音识别

    本文提出了一种 8 位神经网络加速器的新型子 8 位量化感知训练（S8BQAT）方案，利用 Lloyd-Max 压缩理论的灵感，通过适当的实用化来降低计算开销，并应用于递归神经网络传输者 (RNN-T) 结构的语音识别任务中，进一步优化模型参数大小，相对减少误差率 4%-16%，提高计算速度 5%。

    Jun, 2022

  • 通过一致性规则将量化感知训练推向全精度性能

    该论文介绍了一种新颖的方法 ——Consistency Regularization（CR），通过将邻近数据分布信息注入到 Quantization-Aware Training（QAT）中，有效提高了 QAT 的泛化性能，实验证明该方法显著优于当前最先进的 QAT 方法和 Full Precision（FP）对照组。

    Feb, 2024

  • 关于资源受限的 FPGA 上基于时间序列 Transformer 模型的量化感知训练研究

    本研究探讨在时间序列 Transformer 模型上的量化感知训练（QAT），并提出了一种新颖的自适应量化方案，在 QAT 阶段动态选择对称和非对称方案。我们的方法证明了将量化方案与实际数据分布匹配可以减少计算开销同时保持可接受的精度。此外，我们的方法在应用于真实数据和混合精度量化时具有鲁棒性，其中大部分对象被量化为 4 位。我们的发现为模型量化和部署决策提供指导，同时为进一步发展量化技术奠定基础。

    Oct, 2023

  • 后训练量化中的注意力轮

    本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量化性能及实用性。

    Jul, 2022

  • 海报：自监督量化感知知识蒸馏

    本研究提出了一种自监督量化感知知识蒸馏框架 (SQAKD)，可同时最小化 KL-Loss 和离散化误差，显著提升各种最先进的量化感知训练方法的性能。

    Sep, 2023

  • EdgeQAT：基于熵和分布的量化感知训练用于边缘轻量级语言模型加速

    提出了一种新的轻量级语言模型优化方法 EdgeQAT，通过熵和分布引导的量化感知训练，动态量化不同位宽的令牌，从而在边缘设备上实现推理加速，并实验证明其与 FP16 模型相比在多个边缘设备上可以达到高达 2.37 倍的速度提升。

    Feb, 2024

  • 神经网络量化的高效训练方法

    提出了一种新的 quantization 方法，scale-adjusted training (SAT)，以更高效地训练神经网络，并分析了参数化剪辑激活（PACT）技术中梯度计算引入的量化误差。结合 SAT 和梯度校准的 PACT，量化模型可以达到与全精度模型相当甚至更好的性能，并在包括 MobileNet-V1 / V2 和 PreResNet-50 在内的大范围模型上持续改进，达到了最先进的精度。

    Dec, 2019