Campfire: 压缩、无正则、高度结构化的稀疏训练，用于硬件加速器

Jan, 2020

Campfire: 压缩、无正则、高度结构化的稀疏训练，用于硬件加速器

Campfire: Compressable, Regularization-Free, Structured Sparse Training for Hardware Accelerators

Noah Gamboa, Kais Kudrolli, Anand Dhoot, Ardavan Pedram

TL;DR本文研究了使用逐步剪枝技术进行CNN的结构化稀疏训练，通过简化强制稀疏的结构，探索在卷积核和过滤器内进行细粒度剪枝的训练方法，实现了对全图像网的ResNet-50和ResNet-50 v1.5的少量损失精度的稀疏版本。同时还考虑了对抗攻击的问题。

Abstract

This paper studies structured sparse training of cnns with a gradual pruning technique that leads to fixed, sparse weight matrices after a

发现论文，激发创造

探索卷积神经网络中稀疏结构的规律性

本研究分析稀疏性对深度神经网络加速器的设计效率和预测精度的影响，证明了相对于细粒度稀疏性，粗粒度稀疏性能够在保持同等精度的前提下获得更好的压缩率和更高效的硬件设计

May, 2017

SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

本文提出了SparseTrain来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain平均可实现约2.7倍的加速和2.2倍的能量效率提高。

Jul, 2020

深度学习中的稀疏性: 剪枝和生长用于神经网络的高效推理和训练

本文系统梳理了当前深度学习领域中关于稀疏性技术的研究现状，并提供了丰富的稀疏性实现、训练策略及其数学方法等方面的教程，指明如何通过利用稀疏性以达到优化神经网络结构和提高性能的目的。

Jan, 2021

网络修剪的剪枝感知稀疏正则化

本文提出了一种名为MaskSparsity的新型网络剪枝方法，使用有意义的稀疏正则化方法来选择特定滤波器，以获得更好的模型压缩效果，并在不损失模型准确性的情况下，在Deep Learning领域实现63.03%的FLOP降低和60.34%的参数减少。

Jan, 2022

随机剪枝的不合理有效性: 最朴素的稀疏训练基线模型的回归

本研究探讨了如何在现代神经网络中使用稀疏训练，提出了初始化时的随机剪枝能够有效地提高神经网络的稀疏训练性能，结果表明此方法可以匹配对应的密集网络，达到了预期效果，并且进行适当的层级稀疏比率的选择，可以进一步提高性能。

Feb, 2022

使用任何掩码更好地训练您的稀疏神经网络

本研究提出了一种新的稀疏训练技术，使用“幽灵”神经元和跳跃连接等训练初始策略来提高性能和稳定性，适用于各种稀疏掩蔽方法下的深度学习网络

Jun, 2022

准确神经网络剪枝需要重思稀疏优化

使用标准的计算机视觉和自然语言处理稀疏基准测试，探讨高稀疏性对模型训练的影响，提供了一种解决有关稀疏训练困难的新方法，并在高稀疏性环境下实现了在视觉模型和语言模型上最先进的结果。

Aug, 2023

SUBP：用于 1xN 稀疏 CNNs 多线程加速的软均匀块剪枝

通过软均匀块剪枝法（SUBP），本文提出了一种从零开始训练均匀1xN稀疏结构网络的方法，通过块角冗余和均匀重要性抽样，在训练过程中使修剪的块能够以均匀的方式再次生长到网络中，不仅降低了对预训练的依赖性，减少了模型冗余和永久修剪重要块的风险，还实现了负载均衡。在ImageNet上的综合实验中，我们的SUBP方法在各种CNN架构上始终优于基于预训练模型或从零开始训练的现有1xN和结构稀疏方法。

Oct, 2023

大规模神经架构的反向传播压缩：结构化激活剪枝

通过在深度神经网络中采用结构化修剪和块稀疏性操作，目前的研究旨在通过减少激活值的内存消耗来减小GPU内存需求，从而降低大规模模型训练的要求并解决生态环境问题。

Nov, 2023

循环稀疏训练：足够吗?

通过重复周期性训练，我们提出了SCULPT-ing方法，即通过稀疏掩膜的重复周期性训练，然后进行单次剪枝步骤以耦合参数和掩膜，从而在减少计算成本的同时，在高稀疏度条件下达到与最先进的迭代剪枝方法相匹配的性能。

Jun, 2024