Apr, 2023

利用任务损失引导的 Lp 度量方法提高目标检测后训练量化效果

PDF
TL;DR研究表明使用一个固定的超参数 p 不能达到最优的量化性能，因此提出了一种名为 DetPTQ 的框架，使用基于检测结果的适应性 p 值来选择最优量化参数。实验结果表明，DetPTQ 在 2D 和 3D 物体检测器上都比现有技术更优秀。
object detectionpost-training quantizationp-norm distancedetptqodol
发现论文，激发创造
  • LiDAR-PTQ: 点云三维物体检测的后训练量化

    3D 激光雷达检测器的部署面临着计算能力和内存受限的重要挑战，文章提出了一种名为 LiDAR-PTQ 的有效后训练量化方法，包括稀疏度校准、任务引导的全局正损失以及自适应最近邻舍入操作等主要组成部分，通过广泛实验验证了其在激光雷达检测任务中取得的优异量化性能。

    Jan, 2024

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • QDrop：一种用于极低位后训练量化的随机丢弃量化方法

    本文提出了一种新的方法，即将 activation quantization 纳入 post-training quantization 中，随机放弃激活量化，从而将 PTQ 的极限推向了 2 位。最终结果表明，QDROP 在图像分类、目标检测和文本分类任务中具有优异的表现，成为了 PTQ 现有技术中新的最佳方法。

    Mar, 2022

  • AdpQ：一种无需校准自适应后训练量化方法

    本研究提出了一种名为 AdpQ 的零样本自适应 PTQ 方法，通过采用自适应软阈值方法分离显著权重，实现低精度量化（如 3 位）中无需任何校准数据的最先进性能，进一步提供隐私保护优势，而且在各种 LLM 基准测试中达到与现有方法相同的准确性，即使量化时间缩短至少 10 倍。

    May, 2024

  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023

  • EPTQ：通过无标签海森矩阵增强的后训练量化

    本研究提出了一种增强后训练量化方法，名为 EPTQ，该方法基于层的自适应加权进行知识蒸馏。此外，我们引入了一种无标签技术用于估计任务损失的 Hessian 迹，名为 Label-Free Hessian。通过采用 EPTQ，我们在各种模型、任务和数据集上取得了最先进的结果，包括 ImageNet 分类、COCO 目标检测和 Pascal-VOC 语义分割。我们还展示了 EPTQ 在各种体系结构上的性能和兼容性，包括 CNN、Transformer、混合和仅 MLP 模型。

    Sep, 2023

  • 使用层间依赖增强 Hessian 矩阵，用于混合精度后训练量化

    提出了一种混合精度后训练量化（PTQ）方法，使用二阶信息和层间依赖关系指导双分搜索，以在用户可配置的模型准确度降低范围内找到量化配置。 该方法可以降低内存占用并提高延迟，同时保持模型准确性。

    Jun, 2023

  • 通过训练后的层内多精度量化减少 DNN 内存占用

    为了在资源受限的边缘设备上部署深度神经网络模型并保护隐私，本文介绍了一种有效减小深度神经网络内存占用的技术，该技术名为后训练内层多精度量化（PTILMPQ），通过估计网络中层和通道的重要性，实现了在量化过程中的精确位分配。实验结果表明，PTILMPQ 为在内存资源受限的边缘设备上部署深度神经网络提供了有希望的解决方案，例如，在 ResNet50 的情况下，它以 9.5MB 的内存占用达到了 74.57% 的准确率，相比之前类似方法减小了 25.49%，仅有 1.08% 的准确率下降。

    Apr, 2024

  • 后训练量化中的注意力轮

    本研究提出了一种名为 Attention Round 的新型量化方法，利用密度函数实现了参数映射，使得小样本量即可完成量化加速，并通过损失编码长度对模型的不同层进行位宽分配来解决混合精度量化问题，该方法在不同模型上的实验结果表明具有良好的量化性能及实用性。

    Jul, 2022

  • QFT：通过快速联合微调所有自由度进行后训练量化

    提出了一种硬件意识的量化网络参数化方法 —— 量化感知微调（QFT），可以通过联合端对端微调实现一步到位的量化，获得与最优结果相当的 4 位权重量化结果。

    Dec, 2022