Jul, 2018

StructADMM: DNNs 的结构化权重剪枝的系统性、高效性框架

PDF
TL;DR提出了一个系统性的结构裁剪框架来优化 DNNs，使用随机梯度下降和 ADMM，可以以更高的加速度进行优化，即使在一些有损准确性的情况下，模型的压缩率也能达到 15.0 倍。
发现论文，激发创造
  • 使用交替方向乘子法的系统性 DNN 权重剪枝框架

    采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

    Apr, 2018

  • 使用交替方向乘子法进行深度神经网络的系统权重剪枝

    本文利用交替方向乘子法 (ADMM) 提出了一种深度神经网络 (DNNs) 系统权值剪枝框架，通过约束非凸优化问题，并借助 ADMM 框架对权重剪枝进行有序化处理，以在保持相同测试精度以内的情况下实现更高的压缩率和更快的收敛速率。

    Feb, 2018

  • 使用 ADMM 进行深度神经网络的渐进剪枝

    该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法，可以在中等剪枝率下进行局部剪枝，从而达到极高的剪枝速率，避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪枝速率。

    Oct, 2018

  • 非结构化 DNN 模型权重剪枝 -- 在任何平台上都是有益的吗？

    本文提出了一种 ADMM-NN-S 的新方法来进行深度神经网络的权值剪枝和量化，在多个数据集上通过非结构化和结构化剪枝实验得出，在存储和计算效率上，非结构化剪枝不如结构化剪枝。

    Jul, 2019

  • ResNet 裁剪 60 倍：引入网络净化和剔除未使用路径（P-RM）在权重裁剪之后

    提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架，包括网络净化和未使用通路去除算法，可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩，以减少 DNN 框架资源的高计算和大内存存储的挑战。

    Apr, 2019

  • AutoCompress: 一款用于超高压缩率的自动 DNN 结构剪枝框架

    本文提出 AutoCompress，一种自动结构化剪枝框架，可实现超高剪枝比率，同时提供自动超参数确定过程，以及采用最先进的 ADMM-based 结构加权剪枝作为核心算法，并提出了一种新的附加净化步骤，无需损失准确性进行更进一步的权重减少，其有效的启发式搜索方法通过基于经验的指导搜索进行增强，代替了具有潜在不兼容性的问题的先前深度强化学习技术。

    Jul, 2019

  • 使用 ADMM 的结构化权重剪枝和量化的超高效基于忆阻器的 DNN 框架

    这篇论文提出了一种统一而系统的基于忆阻器的框架，考虑了结构化权重剪枝和权重量化，并将交替方向乘子法（ADMM）纳入深度神经网络（DNN）训练中，以实现高准确度、低功耗和小面积占用率。在 VGG-16（ResNet-18）网络上，与原始 DNN 模型相比，该框架实现了 29.81X（20.88X）的权重压缩比，98.38％（96.96％）和 98.29％（97.47％）的功耗和面积降低，并仅有 0.5％（0.76％）的精度损失。

    Aug, 2019

  • ADMM-NN: 使用交替方向乘积算法的 DNN 的算法硬件协同设计框架

    研究对于 DNN 模型的压缩有两类深入了解，如权重修剪和量化；文章研究提出了第一个基于 ADMM 的 DNN 算法硬件协同优化框架 ADMM-NN，该框架可以最大化的提高优化性能以达到更高的 DNN 模型压缩比，并且在不损失准确性的情况下可以达到比以往更好的性能。

    Dec, 2018

  • 使用 ADMM 实现 DNN 权重剪枝和权重聚类 / 量化的统一框架

    本文利用优化理论中的交替方向乘法器方法，发展了深度神经网络权重剪枝和聚类 / 量化的统一、系统的框架，旨在充分利用冗余，提高 DNN 性能。我们采用多种技术来进一步提高这一框架的性能，并实现了在 LeNet-5、AlexNet 和 VGGNet 等模型上的显著改善。

    Nov, 2018

  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019