ICCVOct, 2021

RMSMP：一种具有逐行混合方案和多精度的新型深度神经网络量化框架

PDF
TL;DR本文提出了一种新颖的深度神经网络量化框架 ——RMSMP，采用行混合方案和多精度方法，在硬件推理中简化操作，同时保持准确性。通过对所有层进行线下确定量化方案，RMSMP 量化算法使用 Hessian 和基于方差的方法为每行分配精度和方案，并在 FPGA 设备上实现，与 4 位定点基线相比，在 ImageNet 上对 ResNet-18 的端到端推理时间实现了 3.65 倍加速。
发现论文，激发创造
  • 混合匹配：一种新的面向 FPGA 的深度神经网络量化框架

    该论文研究了基于 FPGA 的深度神经网络模型压缩方法 —— 不同行采用不同的量化方案以充分利用 FPGA 中 LUT 和 DSP 的资源，提出了适用于高斯分布和均匀分布的两种量化方案，并提出了混合方案以保持或提高精度。

    Dec, 2020

  • SDQ：带混合精度的随机可微量化

    本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种 ResNet 和 MobileNet 家族的全精度对应物，展示了我们的方法的有效性和优越性。

    Jun, 2022

  • PAMS: 参数化最大缩放量量化超分辨率

    本研究提出了一种基于可训练的截断参数的量化方案 PAMS，通过引入结构化知识转移（SKT）损失对量化网络进行微调，实现了超分辨率模型的压缩和加速，并实现了新的 PSNR 记录。

    Nov, 2020

  • 高效适数值计算的开源框架

    我们提出了一个通用的开源框架，旨在促进高效、个性化的数值矩阵乘法运算（MMM）。该框架提供了两个主要贡献：第一，一个经过优化的、自动化的算术数据通路生成流水线，可以实现高度定制化的脉动式 MMM 核心；第二，生成的核心能够无缝集成到用户代码中，无论使用的是哪种编程语言，而无需进行修改。该框架在多样化的高性能计算工作负载中展现了能效提升的系统性效果，这些工作负载展示了多种数字需求，如人工智能推理和海面高度计算。在人工智能推理方面，我们考虑了一系列最先进的神经网络模型，包括 ResNet18、ResNet34、ResNet50、DenseNet121、DenseNet161、DenseNet169 和 VGG11，结合了两个数据集、两种计算机格式和 27 种不同的中间算术数据通路。我们的方法在所有情况下都能显著减少能耗，其中一个明显的例子是在使用 ResNet50 进行 ImageNet 推理时，IEEE754-32 的能耗降低了 3.3 倍，Bfloat16 的能耗降低了 1.4 倍。在保持 82.3% 和 86% 的准确率的同时，与传统的浮点数单元（FPUs）所实现的准确率相当。在 SSH 计算方面，我们的方法通过使用双精度字实现了完全可重现的结果，超过了传统双精度和四倍精度浮点数运算器（FPUs）的准确率。我们的方法相比 IEEE754-64 和 IEEE754-128，最低提高了 5 倍和 27 倍的 SSH 计算准确性，从而在每单位功耗方面的准确度提升分别为 5.6 倍和 15.1 倍。

    May, 2024

  • 资源受限异构设备上的联邦学习的混合精度量化

    引入混合精度量化方法到异构资源联邦学习系统中以解决通信和计算瓶颈问题，并在多个模型架构和数据集上进行了广泛的基准性实验验证其优于固定精度量化的性能。

    Nov, 2023

  • MRQ: 通过模型重新量化支持多种量化方案

    本文介绍了一种新型模型量化方法 MRQ（Model Re-quantization)，可将现有的量化模型迅速转换以满足不同的量化需求，克服了重新训练的成本和支持多种量化方案的限制。通过权重校正和舍入误差折叠等新的重量化算法，MobileNetV2 QAT 模型可在不到 0.64 的准确度损失下快速重新量化为两种不同的量化方案，已成功部署在 Echo Show 设备的 NNA 中。

    Aug, 2023

  • 通过学习每层重要性进行混合精度神经网络量化

    该研究提出利用量化器中的可学习参数作为量化精度重要指标，通过一次整数线性规划来确定混合精度量化的最佳位宽以提高时间效率，并在多种模型中实现了 SOTA 精度。

    Mar, 2022

  • 混合精度和自适应分辨率的可微分动态量化

    我们提出了一种完全可微的方法，名为 differentiable dynamic quantization (DDQ)，可用于学习模型量化中的所有超参数，通过实验表明 DDQ 在像 MobileNet 这样的轻量架构上表现最好，并且 DDQ 是硬件友好型。

    Jun, 2021

  • 多点后训练量化：混合精度的实现而无需混合精度

    本文提出一种基于多点量化的离线量化方法，该方法通过线性组合多个低精度数据来逼近完整的权重向量。在不使用专门的混合精度实现的情况下，该方法取得了比业界其他方法更好的精度并广泛适用于多个领域。

    Feb, 2020

  • 基于混合强化学习的数据质量感知混合精度量化

    本研究提出了一种名为 DQMQ 的新型混合精度量化框架，可动态地适应不同数据质量，通过学习一个决策规则，它被建模为一种混合强化学习任务，该任务结合了基于模型的策略优化和监督量化训练。通过在混合质量的图像数据集上进行训练，DQMQ 可以在面对不均匀输入质量时隐式地选择每个层的最适宜比特宽度，在各种基准数据集和网络上的大量实验表明，DQMQ 比现有的固定 / 混合精度量化方法更为优越。

    Feb, 2023