ICLRJan, 2024

LiDAR-PTQ: 点云三维物体检测的后训练量化

PDF
TL;DR3D 激光雷达检测器的部署面临着计算能力和内存受限的重要挑战，文章提出了一种名为 LiDAR-PTQ 的有效后训练量化方法，包括稀疏度校准、任务引导的全局正损失以及自适应最近邻舍入操作等主要组成部分，通过广泛实验验证了其在激光雷达检测任务中取得的优异量化性能。
3d lidar-based detectorspost-training quantizationlidar-ptqsparsity-based calibration methodtask-guided global positive loss
发现论文，激发创造
  • 利用任务损失引导的 Lp 度量方法提高目标检测后训练量化效果

    研究表明使用一个固定的超参数 p 不能达到最优的量化性能，因此提出了一种名为 DetPTQ 的框架，使用基于检测结果的适应性 p 值来选择最优量化参数。实验结果表明，DetPTQ 在 2D 和 3D 物体检测器上都比现有技术更优秀。

    Apr, 2023

  • AdpQ：一种无需校准自适应后训练量化方法

    本研究提出了一种名为 AdpQ 的零样本自适应 PTQ 方法，通过采用自适应软阈值方法分离显著权重，实现低精度量化（如 3 位）中无需任何校准数据的最先进性能，进一步提供隐私保护优势，而且在各种 LLM 基准测试中达到与现有方法相同的准确性，即使量化时间缩短至少 10 倍。

    May, 2024

  • 选择性聚焦：探究车道检测后训练量化中的语义敏感性

    通过引入感知失真评分以及选择性聚焦框架和敏感性感知选择模块，本文探究了车道检测中后处理的语义敏感性，并通过精简优化目标和优化重要预测结果的方式，结合后处理信息进行深度神经网络的量化重建，实现在短短几分钟内在单个 GPU 上生成压缩模型，并在 CULane 数据集上取得了 6.4% 的 F1 评分提升。

    May, 2024

  • CDQuant: 使用贪婪协调下降的准确大型预训练模型的训练后权重量化

    CDQuant 是一个简单且可扩展的替代 GPTQ 的算法，使用坐标下降法来实现高质量的量化权重，通过在 PaLM2 模型系列上进行广泛评估，我们证明 CDQuant 在各种模型规模和量化级别下始终优于 GPTQ。

    Jun, 2024

  • 基于梯度的训练后量化：对现状的挑战

    量化方法在深度神经网络的高效部署中变得至关重要，深度神经网络经常需要量化以便在计算中使用固定点操作代替浮点操作。本文探讨了一种基于梯度的后训练量化方法（GPTQ），证明了该方法在选择权重、特征增强、校准集等方面具有一定鲁棒性，并提出了设计更高效、可扩展的 GPTQ 方法的准则，最后还提出了一种基于重要性的混合精度技术，这些准则和技术共同促进了已有的 GPTQ 方法和网络的性能改进，为设计可扩展且有效的量化方法开辟了新的可能。

    Aug, 2023

  • 无需反向传播的注意力感知后训练量化

    提出了一种不依赖于反向传播的新型 PTQ 算法，通过开发具有注意力机制的 Hessian 矩阵来考虑层间依赖关系，从而显著优于传统的 PTQ 方法，特别是在低位宽情况下。

    Jun, 2024

  • DQS3D：密集匹配的量化感知半监督三维检测

    本研究钻研的半监督三维物体检测问题，在考虑到在杂乱的三维室内场景中进行标注所需要的成本极高的情况下，我们采用了自学习的强健和原则性框架，提供了第一种半监督三维检测算法，该算法单阶段运作并允许稠密的训练信号，解决了多阶段流水线以及离散化 quantization 误差等问题。

    Apr, 2023

  • QuantEase: 基于优化的语言模型量化 -- 一种高效直观的算法

    本研究采用 Coordinate Descent（CD）技术，通过 QuantEase 分层量化框架对 Large Language Models（LLMs）进行后训练量化，包括离群值感知算法，以实现近乎 3 位量化并提高模型性能。

    Sep, 2023

  • 从稀疏点到稠密点云：通过有限的 LiDAR 数据增强 3D 检测

    提出了一种结合单目和基于点云的三维检测的平衡方法，使用低成本、低分辨率的传感器获取仅有 512 个点，然后将这有限的三维信息与单张图像结合重建完整的三维点云，通过与多模态现成的三维检测器结合使用，使得三维检测的准确率相比于最新的单目检测方法提高了 20%，相对于基准多模态方法在 KITTI 和 JackRabbot 数据集上提高了 6% 到 9%。

    Apr, 2024

  • 潜在扩散模型的高效量化策略

    本研究提出了一种高效的量化策略，利用信噪比（SQNR）作为评估指标，将相对量化噪声视为噪声，识别模型中的敏感部分，并提出了既包括全局策略又包括局部策略的高效量化方法。实验结果表明，实施全局和局部策略能够高效地量化并有效地压缩 LDMs。

    Dec, 2023