Aug, 2023

深度神经网络中适应层自适应权重剪枝的高效联合优化

PDF
TL;DR我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。
layer-adaptive weight-pruningdeep neural networks (dnns)output distortion minimizationcombinatorial optimization problemdnn performance
发现论文，激发创造
  • 基于层间校准的深度神经网络剪枝方法

    本论文提出了一种用于深度神经网络的训练后权重修剪方法，其在生产环境中能够达到可接受的精度水平，并且足够快速以在桌面 CPU 或边缘设备等通用硬件上运行。该方法针对基于自动生成的合成分形图像的计算机视觉模型的无数据扩展，实现了数据免费的神经网络修剪，并在 ImageNet 数据集上获得了最新的数据免费神经网络修剪结果，对于 50％ 的稀疏率下使用 ResNet50 的 top@1 准确率丢失约为 1.5％。在使用真实数据时，能够获得在 8 位精度下稀疏率为 65％ 的 ResNet50 模型，而仅准确率下降约为 1％。

    Apr, 2021

  • 深度神经网络的并发训练和层剪枝

    我们提出了一种在神经网络早期训练阶段识别和消除不相关层的算法。与权重或滤波器层剪枝相比，层剪枝能够减少神经网络中更难并行计算的顺序计算。我们采用了一种结构，在非线性网络部分周围使用剩余连接，使非线性部分进行剪枝后仍然能够在网络中传递信息。我们的方法基于变分推断原理，在神经网络权重上使用高斯规模混合先验，从而在训练和推理过程中实现大幅成本节省。该算法在 MNIST、CIFAR-10 和 ImageNet 数据集以及常见的 LeNet、VGG16 和 ResNet 架构上进行了评估，模拟实验结果表明，由于并行训练和剪枝，我们的方法在层剪枝方面以较低的计算成本实现了最先进的性能。

    Jun, 2024

  • 使用 ADMM 进行深度神经网络的渐进剪枝

    该篇论文提出了一种基于 ADMM 的渐进式权重剪枝方法，可以在中等剪枝率下进行局部剪枝，从而达到极高的剪枝速率，避免了准确度降低和收敛速度缓慢的问题。该方法在 ImageNet 和 MNIST 数据集上实现了高达 34 倍和 167 倍的剪枝速率。

    Oct, 2018

  • 使用交替方向乘子法的系统性 DNN 权重剪枝框架

    采用交替方向乘子法（ADMM）的系统性权值剪枝框架解决了深度神经网络中常见的非凸优化问题和稀疏性约束问题，实现了较快的收敛速度和较优的剪枝效果。

    Apr, 2018

  • 通过分层最优脑外科医生学习剪枝深度神经网络

    本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

    May, 2017

  • 在修剪的权值预算上进行完整深度神经网络训练

    本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

    Jun, 2018

  • 面向资源受限的卷积神经网络的分层补偿剪枝

    本研究提出一种新算法 —— 层补偿剪枝，采用元学习来确定更优的解决方案，成功将网络剪枝后的准确度降低到 0.7%，且由 1 小时缩短至 7 分钟的元学习时间可以节省大量资源和时间成本。

    Oct, 2018

  • 联合修剪与通道混合精度量化用于高效的深度神经网络

    通过轻量级的基于梯度的搜索方法和硬件感知的方式，结合稀疏化和混合精度量化的优化技术，在减小延迟和内存占用方面获得 Pareto 最优的准确性与成本（即延迟或内存）之间的深度神经网络。

    Jul, 2024

  • 渐进式 DNN 压缩：使用 ADMM 实现超高剪枝和量化率的关键

    通过 ADMM（Alternating Direction Methods of Multipliers）方法，本文提出了一种新的基于 DNN 模型的结构压缩框架，实现了在不损失精度的情况下对 Lenet-5，AlexNet 和 ResNet-50 模型分别达到 246x，36x 和 8x 的权重剪枝，并且在 AlexNet（ImageNet）中 61x 的权重剪枝只导致了细微精度下降，还引导出了重要的基于 ResNet 和 MobileNet 模型的权重剪枝结果以及全层次二进制化的 LeNet-5 和 ResNet 等。

    Mar, 2019

  • 使用交替方向乘子法进行深度神经网络的系统权重剪枝

    本文利用交替方向乘子法 (ADMM) 提出了一种深度神经网络 (DNNs) 系统权值剪枝框架，通过约束非凸优化问题，并借助 ADMM 框架对权重剪枝进行有序化处理，以在保持相同测试精度以内的情况下实现更高的压缩率和更快的收敛速率。

    Feb, 2018