ICCVSep, 2021

使用比特位丢弃的聚类促进量化，最小化网络量化损失

PDF
TL;DR本研究提出了一种新的神经网络量化方法，名为 Cluster-Promoting Quantization (CPQ)，该方法使用了一些特殊的技术，可以得到比传统方法更优秀的性能并且支持异构量化水平学习。
network quantizationcluster-promoting quantizationmulti-class straight-through estimatorbit-drop techniqueheterogeneous quantization levels
发现论文，激发创造
  • QDrop：一种用于极低位后训练量化的随机丢弃量化方法

    本文提出了一种新的方法，即将 activation quantization 纳入 post-training quantization 中，随机放弃激活量化，从而将 PTQ 的极限推向了 2 位。最终结果表明，QDROP 在图像分类、目标检测和文本分类任务中具有优异的表现，成为了 PTQ 现有技术中新的最佳方法。

    Mar, 2022

  • 一次性权重耦合学习的无需重新训练的模型量化

    通过一种一次性训练 - 搜索范式，本文研究了混合精度模型压缩的问题，并提出了一种动态冻结和信息失真缓解技术来优化位宽配置和性能下降。

    Jan, 2024

  • 低比特宽度权重和激活的卷积神经网络有效训练

    本文提出了三种实用方法来优化低精度深度卷积神经网络，包括渐进式量化、随机量化以及联合知识蒸馏来提高网络训练。通过实验证明，该方法在各种数据集上表现良好。

    Aug, 2019

  • 使用随机量化学习准确的低比特深度神经网络

    本文介绍了一种用于学习准确的低比特深度神经网络的随机量化算法，其逐渐将网络量化，并可显著提高在不同数据集和结构上的低比特深度神经网络的准确度，适用于嵌入式应用。

    Aug, 2017

  • 通过优化量化区间和任务损失学习量化深层网络

    通过可训练量化器和量化区间学习（QIL）来量化深层神经网络中的激活值和权重，以适应资源有限的设备，同时保持高精度和最小化精度损失。

    Aug, 2018

  • 可微软量化：架起全精度和低比特神经网络的桥梁

    本研究提出了 Differentiable Soft Quantization（DSQ）来解决低位量化的不稳定训练和性能降低问题，通过在训练过程中逐渐逼近标准量化值，可以帮助追求精确的反向传播和减少正向传递中的量化损失，同时能在 ARM 架构的设备上实现 2 到 4 位 DSQ，并且与现有高性能推理框架相比，速度提高了 1.7 倍。

    Aug, 2019

  • 量化网络

    该论文提出了一种将低位量化作为可微非线性函数的新方法，并通过该方法实现了神经网络的低位量化，并取得了比现有方法更好的效果。

    Nov, 2019

  • 网络量化极限探索

    本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案，以在达到压缩比约束的前提下最小化网络量化的性能损失，并进行了 LeNet，32 层 ResNet 和 AlexNet 的压缩实验。

    Dec, 2016

  • 具有可证明保证的神经网络后训练量化

    本研究提出了一种针对神经网络量化的方法，该方法通过量化权重来降低计算成本、内存占用和功耗，并促进权重的稀疏性，使用本方法在 ImageNet 上测试显示准确性的损失很小。

    Jan, 2022

  • 深度神经网络后训练分段线性量化

    本文提出了一种基于分段线性量化的方法，通过最小化量化误差来确定最优的分界点，解决了现有量化方法在低位宽下性能显著下降的问题，在图像分类、语义分割和物体检测等方面表现优异。

    Jan, 2020