平衡即本质：通过自适应梯度修正加速稀疏训练

Jan, 2023

平衡即本质：通过自适应梯度修正加速稀疏训练

Balance is Essence: Accelerating Sparse Training via Adaptive Gradient Correction

Bowen Lei, Dongkuan Xu, Ruqi Zhang, Shuren He, Bani K. Mallick

TL;DR本文针对深度神经网络在资源受限情况下需付出昂贵的内存和计算代价的问题，提出一种基于梯度修正的自适应稀疏训练方法，实现了时间和空间的双重高效率，并在多个数据集、模型体系结构和稀疏性上展开实验，结果表明，与同类方法相比，本文所提出的方法能够在相同的训练时长内，将准确率提高多达 5.0％，或者在达到相同准确率的情况下，将训练时长缩短高达 52.1％。

Abstract

Despite impressive performance on a wide variety of tasks, deep neural networks require significant memory and computation costs, prohibiting their application in resource-constrained scenarios. sparse training i

deep neural networks sparse training gradient correction convergence rate resource-constrained scenarios

发现论文，激发创造

在 GPU 上实现高效的 DNN 推断的平衡稀疏性

本文提出一种新的 fine-grained sparsity 方法，即平衡稀疏化方法，使得深度学习模型在商用硬件上得以高效地获得准确性和加速，同时利用 GPU 的高并行特性，取得了高达 3.1 倍的实际加速效果。

Nov, 2018

从零开始的稀疏神经网络：在不降低性能的情况下更快地训练

本文研究了通过发展一种称为稀疏动量的算法，实现在深度神经网络训练过程中，保持稀疏权重的同时实现稠密表现水平的加速训练方法，实验证明稀疏动量可靠地重现稠密表现水平并提供最多 5.61 倍的训练加速度。

Jul, 2019

AUTOSPARSE: 深度神经网络稀疏训练自动化

本文提出通过渐进式变化策略的梯度退火（gradient annealing，GA）以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse，在 ImageNet-1K 数据集上表现优异，80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏（sparse-to-sparse）方法 MEST 的表现相似，但使用的训练和推理 FLOPS 分别多 12％和 50％不到。

Apr, 2023

始终稀疏训练：引导随机探索下的连接增长

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

更多探索的动态稀疏训练

本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数，旨在使稀疏训练达到更高的准确性和更高的稀疏度，实验结果表明，相较于目前最先进的稀疏训练方法，在多项深度学习任务中，本文所提出的方法额外具有更高的准确性。

Nov, 2022

分布式梯度下降的稀疏通讯

使用稀疏更新替代密集更新的分布式随机梯度下降法，在保持准确性不变的情况下，能够在 MNIST 数据集中实现最高 49% 的加速和在神经机器翻译任务中实现最高 22% 的加速。

Apr, 2017

使用随机稀疏计算加速图神经网络训练

针对图神经网络训练过程中稀疏矩阵运算效率低下、采样也更加困难的问题，我们基于资源分配和缓存上一轮采样的解决方案，提出了一种名为随机稀疏计算的方法，能够在几乎不降低精度的情况下取得了专门针对稀疏矩阵运算加速的显著效果。

Oct, 2022

通过修剪激活梯度加速 CNN 训练

通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

Aug, 2019

加速稀疏深度神经网络

介绍了 NVIDIA Ampere GPU 架构中的稀疏张量核心 (Sparse Tensor Cores)，它们利用了 2:4 的稀疏模式，通过两倍的数学吞吐量加速了稠密矩阵单元，并提出了一种简单的工作流程以训练满足 2:4 稀疏模式和保持准确性的网络，从而在稀疏张量核心上实现精确模型的高效部署。

Apr, 2021