Mar, 2020

SASL: 面向神经网络加速的显著性自适应稀疏学习

PDF
TL;DR本文提出了一种基于 saliency 的 CNN 精度和资源消耗综合考虑的自适应稀疏学习方法（SASL），通过调整正则化强度实现更优化的结构稀疏网络，实验结果表明在 ILSVRC-2012 数据集上，SASL 可以将 ResNet-50 的 FLOP 降低 49.7％，同时只有 0.39％的 top-1 准确度下降和 0.05％的 top-5 准确度下降。
发现论文，激发创造
  • 自适应网络剪枝

    本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

    Oct, 2019

  • GASL: 深度神经网络稀疏学习的引导注意力

    本研究提出了一种基于可解释的 attention mechanism 的网络修剪方法，能在保持准确率的前提下实现模型压缩和加速，可适用于各种结构的深度神经网络。实验证明，在 Cifar-100 数据集上取得了最高的稀疏度和加速比，与最佳方法相比准确率相当；在 MNIST 和 LeNet 架构上也取得了最高的稀疏度和加速比。

    Jan, 2019

  • 深度神经网络中的结构稀疏学习

    本文提出了一种结构稀疏学习方法，用于规范深度神经网络的结构和减少计算开销，通过 SSL 算法，可以在 CPU 和 GPU 设备中获得 5.1x 和 3.1x 的卷积层计算加速，同时可以通过规范 DNN 结构来提高分类准确性。

    Aug, 2016

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • LSALSA：通过学习稀疏编码加速源分离

    本研究提出了一种用于稀疏编码（SC）问题的高效算法，既适用于单个字典设置，又适用于形态学组分分析（MCA）中的多个字典设置；该算法采用深度学习结构，可以加速获得稀疏编码，并在提高运行速度、提高数据质量和改善视觉清晰度方面取得了巨大的改进。

    Feb, 2018

  • 关于卷积神经网络中隐式滤波器级别稀疏性的研究

    研究表明，使用 Batch Normalization 和 ReLU 激活的卷积神经网络，在采用适应性梯度下降和 L2 正则化或权重衰减训练的情况下，会出现滤波器级别的稀疏性，这种隐式的稀疏性可以利用以达到神经网络加速的效果。

    Nov, 2018

  • 通过结构稀疏正则化滤波器剪枝实现紧凑型 ConvNets

    本文提出了一种名为结构化稀疏正则化（SSR）的滤波器剪枝方案，它通过两种不同的正则化方法来适应性地裁剪卷积神经网络（CNN）的滤波器，从而提高计算速度和降低内存开销，并通过实验验证了其优异性能。

    Jan, 2019

  • SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

    本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

    Jul, 2020

  • 网络修剪的剪枝感知稀疏正则化

    本文提出了一种名为 MaskSparsity 的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在 Deep Learning 领域实现 63.03% 的 FLOP 降低和 60.34% 的参数减少。

    Jan, 2022

  • AUTOSPARSE: 深度神经网络稀疏训练自动化

    本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

    Apr, 2023