ECCVMar, 2022

通过学习每层重要性进行混合精度神经网络量化

PDF
TL;DR该研究提出利用量化器中的可学习参数作为量化精度重要指标，通过一次整数线性规划来确定混合精度量化的最佳位宽以提高时间效率，并在多种模型中实现了 SOTA 精度。
mixed-precision quantizationimportance indicatorsinteger linear programmingtime efficiencyaccuracy
发现论文，激发创造
  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024

  • OMPQ: 正交混合精度量化

    提出使用网络正交性作为网络量化的代理指标，使用线性规划优化代理指标，降低搜索时间和数据依赖性，从而实现高效且准确的网络量化，分别在 ResNet-18 和 MobileNetV2 上实现了 72.08% 和 71.27% 的 Top-1 准确率。

    Sep, 2021

  • SDQ：带混合精度的随机可微量化

    本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种 ResNet 和 MobileNet 家族的全精度对应物，展示了我们的方法的有效性和优越性。

    Jun, 2022

  • 使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

    提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。 该方法可以降低内存占用并提高延迟，同时保持模型准确性。

    Jun, 2023

  • 通过优化量化区间和任务损失学习量化深层网络

    通过可训练量化器和量化区间学习（QIL）来量化深层神经网络中的激活值和权重，以适应资源有限的设备，同时保持高精度和最小化精度损失。

    Aug, 2018

  • LRP-QViT：基于逐层相关传播的混合精度视觉 Transformer 量化

    LRP-QViT 是一种基于可解释性的方法，为不同层分配混合精度位分配，该方法通过将局部相关性分数传播到所有层，计算层的贡献分数，进而通过剪切通道的量化消除严重的通道间差异。该方法在 ViT、DeiT 和 Swin transformer 模型上进行实验验证，结果表明在 4 位和 6 位量化情况下，我们的后训练量化方法超过了现有模型。

    Jan, 2024

  • 改进后训练神经量化：逐层校准与整数规划

    本文研究使用后训练量化方法达到低于 8 位的精度损失和模型压缩，采用分层次优化参数和整数规划方案，性能在视觉和文本模型上最优。

    Jun, 2020

  • QBitOpt：训练过程中快速准确的位宽重新分配

    提出了一种名为 QBitOpt 的算法，通过量化感知训练（QAT）期间更新比特宽度，将位宽分配问题转化为约束优化问题，利用快速计算的灵敏度和高效求解器，生成满足严格资源约束的高性能任务的混合精度网络。在常见的位宽约束下，在 ImageNet 上评价 QBitOpt 并证实了在固定和混合精度方法中的优越性。

    Jul, 2023

  • 通过训练后的层内多精度量化减少 DNN 内存占用

    为了在资源受限的边缘设备上部署深度神经网络模型并保护隐私，本文介绍了一种有效减小深度神经网络内存占用的技术，该技术名为后训练内层多精度量化（PTILMPQ），通过估计网络中层和通道的重要性，实现了在量化过程中的精确位分配。实验结果表明，PTILMPQ 为在内存资源受限的边缘设备上部署深度神经网络提供了有希望的解决方案，例如，在 ResNet50 的情况下，它以 9.5MB 的内存占用达到了 74.57% 的准确率，相比之前类似方法减小了 25.49%，仅有 1.08% 的准确率下降。

    Apr, 2024

  • MixQuant：混合精度量化与位宽优化搜索

    量化是一种用于创建高效深度神经网络的技术，可以通过以低于 32 位浮点精度的比特宽度执行计算和存储张量来减小模型大小和推理延迟，但量化可能导致舍入误差引起的数值不稳定性，降低量化模型的准确性，而 MixQuant 则是一种搜索算法，根据舍入误差为每个层权重找到最佳的自定义量化比特宽度。

    Sep, 2023