Nov, 2018

使用 ADMM 实现 DNN 权重剪枝和权重聚类 / 量化的统一框架

PDF
TL;DR本文利用优化理论中的交替方向乘法器方法，发展了深度神经网络权重剪枝和聚类 / 量化的统一、系统的框架，旨在充分利用冗余，提高 DNN 性能。我们采用多种技术来进一步提高这一框架的性能，并实现了在 LeNet-5、AlexNet 和 VGGNet 等模型上的显著改善。
deep neural networksweight pruningweight clusteringquantizationoptimization
发现论文，激发创造
  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019

  • ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架

    研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

    Dec, 2018

  • 使用交替方向乘子法的系统性 DNN 权重剪枝框架

    采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

    Apr, 2018

  • 利用渐进式 ADMM 在 DNN 中实现极低比特数和无损准确性

    通过 ADMM 算法的系统框架，延伸了基于 ADMM 的神经网络权重量化方法，提出了一种逐步递进的神经网络权重量化方法，可实现更进一步的权重量化，并通过实验证明了优越的性能。

    May, 2019

  • 使用交替方向乘子法进行深度神经网络的系统权重剪枝

    本文利用交替方向乘子法 (ADMM) 提出了一种深度神经网络 (DNNs) 系统权值剪枝框架，通过约束非凸优化问题，并借助 ADMM 框架对权重剪枝进行有序化处理，以在保持相同测试精度以内的情况下实现更高的压缩率和更快的收敛速率。

    Feb, 2018

  • 使用 ADMM 进行深度神经网络的渐进剪枝

    该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法，可以在中等剪枝率下进行局部剪枝，从而达到极高的剪枝速率，避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪枝速率。

    Oct, 2018

  • 使用 ADMM 的结构化权重剪枝和量化的超高效基于忆阻器的 DNN 框架

    这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在 VGG-16（ResNet-18）网络上，与原始 DNN 模型相比，该框架实现了 29.81X（20.88X）的权重压缩比，98.38％（96.96％）和 98.29％（97.47％）的功耗和面积降低，并仅有 0.5％（0.76％）的精度损失。

    Aug, 2019

  • StructADMM: DNNs 的结构化权重剪枝的系统性、高效性框架

    提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。

    Jul, 2018

  • 非结构化 DNN 模型权重剪枝 -- 在任何平台上都是有益的吗？

    本文提出了一种 ADMM-NN-S 的新方法来进行深度神经网络的权值剪枝和量化，在多个数据集上通过非结构化和结构化剪枝实验得出，在存储和计算效率上，非结构化剪枝不如结构化剪枝。

    Jul, 2019

  • 硬件感知的 DNN 压缩：通过多样化剪枝和混合精度量化

    通过联合采用修剪和量化，利用强化学习探索与低能耗相关的设计空间及其精度损失，我们提出了一种自动压缩深度神经网络的硬件感知框架，能够在嵌入式深度神经网络加速器上实现能耗最小化。实验结果表明，相比现有方法，我们的框架平均能耗降低 39%，平均精度损失为 1.7%。

    Dec, 2023