Aug, 2023

结构化剪枝中连续松弛的泛化

PDF
TL;DR使用结构化剪枝方法，在不降低推理准确度的情况下，通过算法的网络增强、剪枝、子网络合并和移除，实现了高达 93% 的稀疏度与 95% FLOPs 的减少，同时在分类和分割问题上超过了先进水平，并且避免了在 GPU 上进行计算昂贵的稀疏矩阵运算。
发现论文，激发创造
  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 基于自适应激活的结构化剪枝

    本文提出了一种自适应基于激活的结构化裁剪方法，以自动高效地生成满足用户要求的小型、准确和硬件高效的模型，它提出了迭代性结构化裁剪和自适应剪枝策略，可在不降低精度的情况下大幅减少参数和 FLOPs

    Jan, 2022

  • FPGA 资源感知的实时神经网络结构剪枝

    通过硬件为中心的修剪公式，我们在神经网络中减少了计算和存储的使用，并在实时推理中取得了显著的资源利用率改进。

    Aug, 2023

  • 细粒度结构化稀疏感知图像修复

    本文提出了一种新的修剪方法，用于在不影响恢复精度的情况下减小图像修复网络的尺寸，该方法根据每个层的不同计算复杂度和性能要求确定 N:M 结构稀疏的修剪比，通过大量的实验结果表明，该方法在超分辨率和去模糊任务中的表现优于以前的修剪方法。

    Apr, 2022

  • 基于张量处理器的卷积网络结构模型剪枝

    本研究使用 VGG-16 模型作为示例，测量了各种结构模型修剪方法和数据集（CIFAR-10 和 ImageNet）在 Tensor Processing Units（TPUs）上的准确性和效率之间的权衡，使用 TensorFlow2 开发了一个结构模型修剪库以在 TPUs 上显着提高模型内存使用和速度而不失准确性，这尤其适用于较小的数据集（如 CIFAR-10）。

    Jul, 2021

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 多任务深度神经网络的结构剪枝

    本文研究了定结构剪枝在多任务深度神经网络模型中的有效性。通过使用基于现有单任务筛选剪枝标准和基于多任务学习筛选剪枝标准，采用迭代剪枝策略进行剪枝，本文表明在参数数目相似的情况下，与快速单任务 DNN 相比，DNN 多任务可以通过精心的超参数调整实现相似的性能，迭代权重剪枝可能不是实现良好性能剪裁模型的最好方式。

    Apr, 2023

  • 卷积神经网络加速的结构化概率裁剪

    本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确率损失。此外，SPP 可直接应用于加速 ResNet 等多分支 CNN 网络，且在 ImageNet 上只有 0.8% 的准确率损失。

    Sep, 2017

  • 面向卷积神经网络的广义熵稀疏化

    卷积神经网络 (CNNs) 被报道为过参数化。本文提出了一种基于数学思想的逐层数据驱动剪枝方法，旨在通过最小化网络熵来找到稀疏子网络，以解决网络架构搜索的复杂性问题。该方法在多个基准测试中得到验证，并在中稀疏度达到 55%-84% 时准确度损失为 0.1%-0.5%（LeNet 模型在 MNIST 数据集上），在稀疏度达到 73%-89% 时准确度损失为 0.1%-0.5%（VGG-16 和 ResNet18 模型在 CIFAR-10 数据集上）。

    Apr, 2024