CVPROct, 2020

置换、量化和微调：神经网络的高效压缩

PDF
TL;DR通过对权重的重新排列，利用矢量量化方式压缩多层神经网络以在低性能计算平台上运行。在图像分类、目标检测和分割等任务中，相对于现有技术水平，可以将压缩后网络的性能损失降低 40％至 70％。
neural networksvector quantizationconvolutional filtersrate-distortion theoryannealed quantization
发现论文，激发创造
  • 利用矢量量化压缩深度卷积网络

    本文探讨信息理论中的向量量化方法，用于压缩卷积神经网络中的参数，结果表明针对最消耗存储的稠密连接层使用向量量化方法比现有的矩阵分解方法更加高效，仅使用最先进的 CNN 模型在 ImageNet 挑战赛的 1000 分类任务中，即使损失 1% 的分类准确率，也能获得 16-24 倍的网络压缩优化。

    Dec, 2014

  • And the Bit Goes Down: 重新审视神经网络量化

    本文提出一种矢量量化方法，以减小卷积神经网络架构的存储占用，能以较小的内存占用提供高精度的图像识别。

    Jul, 2019

  • 网络量化极限探索

    本研究提出了一种基于 Hessian-weighted k-means clustering 和 ECSQ 的网络量化方案，以在达到压缩比约束的前提下最小化网络量化的性能损失，并进行了 LeNet，32 层 ResNet 和 AlexNet 的压缩实验。

    Dec, 2016

  • 深度神经网络压缩的可微细粒度量化

    本文提出了一种基于梯度下降优化的深度神经网络压缩的精细化量化方法，通过在不同结构、层次上采用不同的精度，达到更好的压缩比和准确率的平衡。实验结果表明，与传统量化方法相比，该方法在相同压缩率下表现更优。

    Oct, 2018

  • 使用单次剪枝量化压缩深度神经网络

    本文提出了一种新颖的一次性剪枝量化（OPQ）方法，使用预先训练的模型参数解决剪枝和量化问题，并通过统一的通道量化方法提高了训练效率和压缩比。对于 AlexNet/MobileNet-V1/ResNet-50 等模型在 ImageNet 数据集上展开全面实验，结果表明该方法相对于目前最先进的技术可以获得更高的压缩比和更好的训练效率。

    May, 2022

  • 深度神经网络自适应量化

    本文提出了一种针对深度模型量化的优化框架和量化算法，首次理论分析单个图层的参数量化误差与模型精度之间的关系，达到了比以前的优化方法更高的压缩率和相同模型精度下更高的压缩率。

    Dec, 2017

  • 使用单级和多级量化的深度神经网络压缩

    本文提出了两种新的网络量化方法，即高位量化的单层网络量化（SLQ）和极低位量化（三元）的多层网络量化（MLQ），两种方法均在有效利用深度信息方面表现出色。

    Mar, 2018

  • 通用深度神经网络压缩

    本文研究深度神经网络的权重量化和无损源编码的有损压缩以实现内存有效部署，通过引入通用向量量化和通用源编码，实现了通用的深度神经网络压缩，并尝试运用通用随机格量化方法来随机化神经网络权重，证明该方法在压缩 32 层的 ResNet 和 AlexNet 时具有较高的压缩比和较低的失真率。

    Feb, 2018

  • 深度神经网络加速的修剪与量化：一份调查报告

    本文介绍了深度神经网络中两种压缩技术 —— 剪枝和量化，比较了它们的优劣，并且提出了相关的压缩网络的实用指南。

    Jan, 2021

  • 模型压缩作为约束优化的一种形式，以神经网络为例。第二部分：量化

    通过使用带有 K 个条目的码簿进行实值权重的量化，我们提出了一种新方法，该方法基于模型压缩作为约束优化框架，交替进行连续权重的网络学习和权重量化（或二值化 / 三值化）的步骤，以便在量化网络的损失上收敛到局部最优解。

    Jul, 2017