保持梯度流动：使用梯度流动研究稀疏网络优化

Feb, 2021

保持梯度流动：使用梯度流动研究稀疏网络优化

Keep the Gradients Flowing: Using Gradient Flow to Study Sparse Network Optimization

Kale-ab Tessera, Sara Hooker, Benjamin Rosman

TL;DR本文提出了一种在优化、正则化和架构设计等方面更好地拟合稀疏网络的方法，使用 Same Capacity Sparse vs Dense Comparison 和 Effective Gradient Flow 这两种指标，得出优化器、激活函数和正则化等参数对于稀疏网络的影响，同时对架构设计和训练方案进行探究，该研究表明，初始化只是稀疏网络优化中的一个方面。

Abstract

Training sparse networks to converge to the same performance as dense neural architectures has proven to be elusive. Recent work suggests that initialization is the key. However, while this direction of research has had some success, focusing on initialization alone appears to be inade

sparse networks regularization optimization architecture design gradient flow

发现论文，激发创造

基于数据驱动的深度神经网络稀疏结构选择

本文提出了一种简单有效的框架来对深度模型进行端到端的剪枝，方法是先引入一个称为 “缩放因子” 的新参数来缩放特定结构的输出，然后对这些因子加入稀疏正则化，并通过修改的随机加速远端梯度（APG）方法解决这个优化问题。将某些因子强制为零，可以安全地移除对应的结构，从而削减 CNN 的不重要部分，该方法相较于其他需要数千次试验或迭代微调的结构选择方法具有更好的性能。

Jul, 2017

稀疏神经网络中的梯度流与中奖彩票方法

本文研究稀疏神经网络的训练，并分析了从随机初始化开始训练稀疏神经网络的不良表现以及 Lottery Tickets 和 Dynamic Sparse Training 的例外情况。作者发现稀疏神经网络在初始化时梯度流较差，使用稀疏感知的初始化对性能至关重要。DST 方法可以显著提高训练期间的梯度流，而 LTs 的成功则在于重新学习了它们基于修剪的解决方案 —— 但这是以学习新解决方案为代价的。

Oct, 2020

正则化压缩神经网络的学习

研究了深度神经网络的正则梯度下降算法，并通过量化约束集合的复杂度以及研究覆盖维度来探索正则化技术在加速训练、提高泛化性能以及学习更高效紧凑模型方面的优势。

Feb, 2018

稀疏神经网络训练的难点

本文研究了训练稀疏神经网络的困难，并对稀疏区间内的优化动态和能量景观进行了新的观察。研究发现，尽管优化器的失败，但存在一条线性路径从初始化到 “好” 的解，并从 “稀疏” 到 “稠密” 的子空间中寻找这条路径，可以帮助稀疏神经网络避开常见的停滞点。

Jun, 2019

通过结构化连续稀疏化增加深度网络的效率

本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

Jul, 2020

SparseTrain: 利用数据流量稀疏性来实现高效的卷积神经网络训练

本文提出了 SparseTrain 来加速卷积神经网络的训练，该方法通过完全利用稀疏性，主要包括三个方面的创新：激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明，与原始训练流程相比，SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。

Jul, 2020

平衡即本质：通过自适应梯度修正加速稀疏训练

本文针对深度神经网络在资源受限情况下需付出昂贵的内存和计算代价的问题，提出一种基于梯度修正的自适应稀疏训练方法，实现了时间和空间的双重高效率，并在多个数据集、模型体系结构和稀疏性上展开实验，结果表明，与同类方法相比，本文所提出的方法能够在相同的训练时长内，将准确率提高多达 5.0％，或者在达到相同准确率的情况下，将训练时长缩短高达 52.1％。

Jan, 2023

用于结构稀疏性的网络流算法

本文研究了一个结构化稀疏正则化学习问题，提出了一种基于网络流优化的高效算法，在多个领域展示出了它的可行性和可扩展性。

Aug, 2010

始终稀疏训练：引导随机探索下的连接增长

现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

Jan, 2024

从头开始学习 N:M 细粒度结构稀疏神经网络

本文研究了一种 N:M 级别的深度神经网络稀疏网络，在专门设计的 GPU 上同时具有非结构化细粒度稀疏性和结构化粗粒度稀疏性的优点，解决了传统稀疏网络的效率问题，同时提出了一种 Sparse-refined Straight-through Estimator 方法，解决了传统优化方法下的负面影响。

Feb, 2021