Nov, 2023

通过对抗性权重修剪实现更高的排名

PDF
TL;DR卷积神经网络在边缘设备上部署困难，提出了一种基于排名的修剪方法（Rank-based PruninG），通过稀疏权重的高秩拓扑结构来实现高稀疏度，该方法在各种数据集和不同任务上验证了其有效性。
发现论文，激发创造
  • 深度卷积神经网络的结构化剪枝

    使用结构化稀疏技术、粒子滤波方法和固定点优化技术对深度神经网络进行了精简，优化后可在嵌入式计算机和硬件系统上提供更加高效和优化的实现。

    Dec, 2015

  • 高效深度神经网络的训练排名剪枝

    本文提出了一种名为 TRP 的低秩逼近和正则化相结合的训练方法，用于在边缘设备上进行深度神经网络的图像分类任务，并在 CIFAR-10 和 ImageNet 数据集上进行了广泛评估，结果表明相比于之前的低秩逼近压缩方法取得了更好的性能。

    Dec, 2018

  • 高效深度神经网络的训练等级裁剪

    文章提出了一种名为 TRP 的方法，该方法可以将低秩逼近和正则化融入神经网络模型的训练过程中，通过使用随机次梯度下降优化核范数来促进 TRP 中的低秩，从而消除低秩逼近后的微调，并在 CIFAR-10 和 ImageNet 上显着优于以前使用低秩逼近的对比方法。

    Oct, 2019

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • 卷积神经网络参数的动态等级剪枝压缩

    通过动态参数排除，我们提出了一种用于卷积神经网络压缩的高效训练方法，使用奇异值分解（SVD）对低秩卷积滤波器和密集权重矩阵进行建模，并通过端到端的反向传播训练 SVD 因子。我们的方法在各种现代卷积神经网络和计算机视觉数据集上进行评估，并展示了它在分类性能上的适用性。实验证明，该方法能够在保持或提高分类性能的同时实现显著的存储节省。

    Jan, 2024

  • 卷积神经网络加速的结构化概率裁剪

    本文提出一种名为 “结构化概率剪枝” 的卷积神经网络加速新方法，采用概率剪枝方式剪枝卷积层权重，加速 AlexNet 和 VGG-16 在 ImageNet 分类中 4 倍和 2 倍的速度，并且只有 0.3% 和 0.8% 的前 5 位准确率损失。此外，SPP 可直接应用于加速 ResNet 等多分支 CNN 网络，且在 ImageNet 上只有 0.8% 的准确率损失。

    Sep, 2017

  • ResNet 裁剪 60 倍：引入网络净化和剔除未使用路径（P-RM）在权重裁剪之后

    提出一种融合 ADMM 算法和滤波器和列剪枝技术的 DNN 框架，包括网络净化和未使用通路去除算法，可在 LeNet-5、ResNet-18 CIFAR-10 和 AlexNet 上实现 232 倍、60 倍和 5 倍的压缩，以减少 DNN 框架资源的高计算和大内存存储的挑战。

    Apr, 2019

  • 低秩权重对神经网络对抗鲁棒性的影响

    研究的问题是通过压缩来探究神经元网络的鲁棒性并揭示其中的关键特性，其中低秩结构通过核范数正则化促进并结合稀疏性使神经网络显示出显著的鲁棒性。

    Jan, 2019

  • TRP: 针对深度神经网络的训练排序剪枝技术

    本文提出了一种新方法 Trained Rank Pruning (TRP)，将低秩近似和正则化融入到训练过程中，并在 CIFAR-10 和 ImageNet 数据集上得出了显著的性能提升。

    Apr, 2020

  • 通过神经元选择对递归神经网络进行结构化剪枝

    通过神经元选择的结构化剪枝方法，可以通过减小基本结构的尺寸来减少 RNN 的存储和计算成本，并利用 L0 范数优化，取得了语言建模等任务上的优异表现。

    Jun, 2019