Jun, 2023

N:M 稀疏性的空间重参数化

PDF
TL;DR本文提出了 Spatial Re-parameterization (SpRe) 方法，用于 N:M 稀疏性在 CNN 中的应用。该方法可以在训练期间利用非结构化稀疏性的空间稀疏性分布来为 N:M 稀疏性模型分配一个额外的支路，使其可以维持类似于非结构化稀疏性的空间稀疏性分布。在推理期间，该额外的支路可以进一步重新参数化为主要的 N:M 支路，而不会对稀疏模式或额外的计算成本产生扭曲。SpRe 方法可以在各种基准测试中匹配 N:M 稀疏性方法的表现与最先进的非结构化稀疏性方法。
发现论文，激发创造
  • 细粒度结构化稀疏感知图像修复

    本文提出了一种新的修剪方法，用于在不影响恢复精度的情况下减小图像修复网络的尺寸，该方法根据每个层的不同计算复杂度和性能要求确定 N:M 结构稀疏的修剪比，通过大量的实验结果表明，该方法在超分辨率和去模糊任务中的表现优于以前的修剪方法。

    Apr, 2022

  • 空间梯度缩放重参数化

    本论文提出了一种新颖的空间梯度缩放方法，该方法根据特征映射的空间特征测量互信息，动态学习每个卷积层的缩放，并证明了空间梯度缩放实现了与分支再参数化相同的学习动态，同时不引入网络结构变化。实验结果表明，我们提出的缩放方法在不搜索再参数化结构的情况下，以较低的计算成本优于最先进的再参数化策略。

    Mar, 2023

  • 从头开始学习 N:M 细粒度结构稀疏神经网络

    本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

    Feb, 2021

  • 动态稀疏重参数化实现深度卷积神经网络的参数高效训练

    介绍了一种新的动态稀疏重参数化方法，能够更有效地训练深度卷积神经网络，在固定的参数预算下达到最佳准确率，并发现在训练过程中探索结构自由度比增加额外的参数对网络性能的提升更为有效。

    Feb, 2019

  • 探究图像超分辨率中的稀疏性以实现高效推理

    本文中，我们提出了一种基于 CNN 的 Sparse Mask SR (SMSR) 网络，以学习稀疏掩模，以便在保持可比较性能的同时，准确地定位和跳过冗余计算，从而提高 SR 网络的推理效率。

    Jun, 2020

  • 带有衰减剪枝掩码的 N:M 结构稀疏化训练配方

    本文研究 N:M 稀疏性训练的不同方法，并提出了两种新的基于衰减的修剪方法，即 “修剪掩码衰减” 和 “稀疏结构衰减”。研究表明，这些提出的方法在保持与非结构化稀疏性可比的模型精度同时，增加的总训练计算量（FLOPs）相对较小。

    Sep, 2022

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • SUBP：用于 1xN 稀疏 CNNs 多线程加速的软均匀块剪枝

    通过软均匀块剪枝法（SUBP），本文提出了一种从零开始训练均匀 1xN 稀疏结构网络的方法，通过块角冗余和均匀重要性抽样，在训练过程中使修剪的块能够以均匀的方式再次生长到网络中，不仅降低了对预训练的依赖性，减少了模型冗余和永久修剪重要块的风险，还实现了负载均衡。在 ImageNet 上的综合实验中，我们的 SUBP 方法在各种 CNN 架构上始终优于基于预训练模型或从零开始训练的现有 1xN 和结构稀疏方法。

    Oct, 2023

  • 可学习稀疏度的软阈值权重重参数化

    本研究提出了一种基于软阈值重参数化（STR）的方法，该方法通过学习修剪阈值实现平滑稀疏（非均匀稀疏），从而获得非均匀稀疏预算，进而在 CNNs 中实现非结构化稀疏，在 ImageNet-1K 上实现了最先进的准确性，并且可以用于在 RNNs 中引出低秩（结构稀疏）。

    Feb, 2020

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019