寻找最佳量化策略的可微分搜索

Apr, 2024

Differentiable Search for Finding Optimal Quantization Strategy

Lianqiang Li, Chenqian Yan, Yefei Chen

TL;DR通过深度神经网络的量化算法的不同量化策略搜索，我们提出了一种可微分量化策略搜索（DQSS）方法，为每个层分配最优的量化策略，并在图像分类和图像超分辨率等计算机视觉任务中验证了其有效性。

Abstract

To accelerate and compress deep neural networks (DNNs), many network quantization algorithms have been proposed. Although the quantization strategy of any algorithm from the state-of-the-arts may outperform others in some network architectures, it is hard to prove the strategy is alway

deep neural networks network quantization algorithms differentiable quantization strategy search post-training quantization quantization-aware training

发现论文，激发创造

可微神经架构搜索进行卷积网络的混合精度量化

该研究探索了一种新的神经网络压缩方法，通过不同比特宽度的量化不同层并使用可微分神经架构搜索框架进行优化，成功地实现了比现有方法更高的压缩率，模型尺寸缩小 21.1 倍或计算量降低 103.9 倍

Nov, 2018

SDQ：带混合精度的随机可微量化

本文提出了一种新的随机可微量化（SDQ）方法，利用不同层和模块的优化比特宽度来自动学习混合精度量化策略，并利用熵感知的分 bin 正则化和知识蒸馏对网络进行训练，经过在不同硬件和数据集上广泛的评估，SDQ 在较低的比特宽度下优于所有最先进的混合或单精度量化，甚至优于各种 ResNet 和 MobileNet 家族的全精度对应物，展示了我们的方法的有效性和优越性。

Jun, 2022

AutoQNN: 一种自动量化神经网络的端到端框架

本文提出一种名为 AutoQNN 的端到端框架，通过引入量化方案搜索（QSS）、量化精度学习（QPL）和量化架构生成（QAG）三种技术，自动实现对不同深度神经网络（DNN）模型的不同层进行不同方案和不同精度的量化，无需人工干预，实现对深度神经网络的自动量化。实验表明，AutoQNN 相对于现有的量化算法在准确性和效率上都表现得更优秀。

Apr, 2023

可微软量化：架起全精度和低比特神经网络的桥梁

本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

Aug, 2019

深度神经网络自适应量化

本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

Dec, 2017

混合精度和自适应分辨率的可微分动态量化

我们提出了一种完全可微的方法，名为 differentiable dynamic quantization (DDQ)，可用于学习模型量化中的所有超参数，通过实验表明 DDQ 在像 MobileNet 这样的轻量架构上表现最好，并且 DDQ 是硬件友好型。

Jun, 2021

联合神经架构搜索和量化

本文提出了一种名为 JASQ 的方法，将神经网络的架构设计与模型压缩两项任务整合到统一框架中，可在考虑模型大小与性能准确性之间的平衡点上使用多目标进化算法搜索，实现高性能适合移动设备的紧凑神经网络模型。实验结果表明，该方法在搜索架构或仅搜索量化策略时优于现有方法。

Nov, 2018

深度神经网络压缩的可微细粒度量化

本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

Oct, 2018

通过伪量化噪声实现可微分的模型压缩

本文提出了 DiffQ，一种不需要渐近梯度估计的可微方法，用于在训练期间对模型参数进行量化。DiffQ 在多个基准测试和体系结构上进行了实验验证，对于图像分类、语言建模和音频源分离等任务，能够优化每个权重或一组权重使用的位数，并在模型精度损失 0.3% 的情况下将 12 层的变压器模型压缩了超过 8 倍。

Apr, 2021

DBQ: 一种适用于轻量级深度神经网络的可微分分支量化器

本文提出了一种全新的可完全微分的非均匀量化器，在轻量级神经网络（如 MobileNetV1，MobileNetV2 和 ShuffleNetV2）上取得了最优的准确性 - 复杂度平衡，并成功地解决了将神经网络部署到资源受限设备上的问题。

Jul, 2020