稀疏权重激活训练
本文提出了 SparseTrain 来加速卷积神经网络的训练,该方法通过完全利用稀疏性,主要包括三个方面的创新:激活梯度剪枝算法、稀疏训练数据流和加速器架构。评估结果表明,与原始训练流程相比,SparseTrain 平均可实现约 2.7 倍的加速和 2.2 倍的能量效率提高。
Jul, 2020
现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法,具有一流的大规模和更稀疏模型的线性时间复杂度,并通过引导随机探索算法改善了先前稀疏训练方法的准确性。
Jan, 2024
提出了一个计算高效的 N:M 稀疏深度神经网络(DNN)训练方案,包括算法、架构和数据流共同设计,并利用双向权重修剪方法和稀疏加速器实现了高效的 N:M 稀疏 DNN 训练,在几种 DNN 模型和数据集上的实验结果表明,在 2:8 稀疏比率下,该方案相对于密集训练可实现平均 1.75 倍的加速,准确度损失平均仅为 0.56%,在 FPGA 加速器上训练吞吐量提高了 2.97~25.22 倍,能效提高了 1.36~3.58 倍。
Sep, 2023
本文提出了基于动态稀疏训练的稀疏连接性搜索问题的开发和探索获取函数,旨在使稀疏训练达到更高的准确性和更高的稀疏度,实验结果表明,相较于目前最先进的稀疏训练方法,在多项深度学习任务中,本文所提出的方法额外具有更高的准确性。
Nov, 2022
本论文提出了三种无需重新训练即可进行卷积神经网络稀疏化的方法,研究表明,这些方法能够使得最先进的模型权重减少高达 73%(压缩因子为 3.7 倍),而最多只会损失 5%的 Top-5 精度,附加的微调只能获得 8%的稀疏度,这表明我们的快速稀疏化方法是有效的。
Nov, 2018
本文提出通过渐进式变化策略的梯度退火(gradient annealing,GA)以及最新的可学习剪枝方法相结合的自动稀疏训练算法 AutoSparse,在 ImageNet-1K 数据集上表现优异,80% 稀疏 ResNet50 的训练和推断 FLOPS 减少分别达到 2 倍和 7 倍。与当前最好的稀疏到稀疏(sparse-to-sparse)方法 MEST 的表现相似,但使用的训练和推理 FLOPS 分别多 12%和 50%不到。
Apr, 2023
通过在 SGD 轨迹上抽样多个点进行简单平均,Stochastic Weight Averaging(SWA)过程实现了比传统训练更好的泛化,SWA 获得了 CIFAR-10、CIFAR-100 和 ImageNet 上多个最先进网络的显着测试精度提高,而且 SWA 实现简单、无几乎不需要计算成本。
Mar, 2018
本文研究了使用逐步剪枝技术进行 CNN 的结构化稀疏训练,通过简化强制稀疏的结构,探索在卷积核和过滤器内进行细粒度剪枝的训练方法,实现了对全图像网的 ResNet-50 和 ResNet-50 v1.5 的少量损失精度的稀疏版本。同时还考虑了对抗攻击的问题。
Jan, 2020
这篇论文提出了权重增强策略 (WAS),通过随机变换权重系数训练和转换后的系数 (SW) 来影响参数更新,使网络具有高鲁棒性和准确性,适用于各种深度学习网络模型,并且实验证明其在各种网络上的效果都非常好。
May, 2024