深度学习的训练简化与模型简化：一种最小化反向传播方法

Nov, 2017

深度学习的训练简化与模型简化：一种最小化反向传播方法

Training Simplification and Model Simplification for Deep Learning: A Minimal Effort Back Propagation Method

Xu Sun, Xuancheng Ren, Shuming Ma, Bingzhen Wei, Wei Li...

TL;DR该研究提出了一种基于梯度稀疏化和模型简化的技术来降低神经网络的训练和推断计算开销，并且在不降低模型准确率的情况下，实现了对模型的自适应简化，具有很高的应用价值。

Abstract

We propose a simple yet effective technique to simplify the training and the resulting model of neural networks. In back propagation, only a small subset of the full gradient is computed to update the model param

neural networks back propagation gradient sparsification model simplification computational cost reduction

发现论文，激发创造

meProp: 稀疏化反向传播，加速深度学习，降低过拟合

通过保留权重矩阵的前 k 个元素并实现前向传播和反向传播来减少计算成本，该方法可以提高神经网络的学习效率并改善其准确性。

Jun, 2017

卷积神经网络的最小化误差反向传播

该研究提出了一种有效的计算方法，通过对全梯度的精简计算以及对梯度进行稀疏选择，来提高卷积神经网络中反向传播的计算效率，实验结果表明只有 5% 的梯度需要上传就可以达到原始 CNN 的效果甚至更好。

Sep, 2017

前向和后向传播稀疏化提高神经网络训练效率

该研究提出了高效的稀疏训练方法，通过引入连续性问题，将优化过程分为权重更新和结构参数更新两个步骤，前者可利用稀疏结构实现，后者通过方差减少策略梯度估计器而获得全面稀疏训练，维度之间的联系局限在两个步骤中，展示了远远超过之前方法的训练加速效果。

Nov, 2021

一种提高神经网络准确性的新方法：恢复传统反向传播技术

本研究提出了一种新的即时参数更新方法，通过消除每层计算梯度的需要来加速学习、避免梯度消失问题，并在基准数据集上优于最先进的方法，为高效有效的深度神经网络训练提供了一个有希望的方向。

Aug, 2023

大型线性层的高效反向传播优化

该研究提出了一种将随机矩阵乘法用于梯度反向传播的方法，并证明该方法可以通过降低所需内存容量，从而更加有效地处理神经网络中的线性层。通过在语义理解任务中对 RoBERTa 模型进行测试，结果表明，该方法即使降低了测试准确度，但仍能实现显著的内存消耗优化。

Jan, 2022

使用近似激活的反向传播进行内存高效网络训练

本文提出了一种新的反向传播实现，通过使用近似来显著减少内存使用，使用相对较低的精度近似，而不影响训练准确性，并展示了其在 CIFAR-10、CIFAR-100 和 ImageNet 数据集上的优异表现。

Jan, 2019

随机反向传播：一种训练视频模型的内存高效策略

在视频数据的神经网络训练中，提出了一种名为随机反向传播（SBP）的记忆效率高的方法，可以显著降低 GPU 内存的占用，并可用于各种视频任务的模型训练，包括动作识别和时间动作检测，而且几乎不影响准确率。

Mar, 2022

聚焦最大的失误者加快深度学习

介绍了 Selective-Backprop 技术，该技术可以通过在每次迭代中优先处理损失较大的示例来加速深度神经网络训练，通过在多个现代图像模型上的评估表明，相比标准 SGD 和最先进的重要性采样方法，Selective-Backprop 可以以快至多达 3.5 倍的速度收敛到目标误差率。

Oct, 2019

选择性反向传播中梯度匹配的负面结果

通过选择最优匹配整个微批量平均梯度的（加权）子集，同时使用梯度作为廉价的代理，研究表明，无论是基于损失还是梯度匹配策略，都不能始终超越随机选择基准线，以加快深度神经网络训练过程中的计算速度。

Dec, 2023

在修剪的权值预算上进行完整深度神经网络训练

本研究提出了一种 DNN 训练技术，该技术可以在不影响准确率的情况下，只学习了部分全参数集。此方法使用反向传播约束更新权重的总数，以仅跟踪具有最高总梯度的权重。通过确保总权重扩散保持接近于基线未修剪 SGD 的扩散，使用我们技术进行修剪的网络能够在网络架构中保留领先的状态，包括先前被认为难以压缩的网络。我们在 ImageNet 上使用 ResNet18 观察到了 11.7 倍的权重减少无准确性损失，最多可达 24.4 倍，但具有小的准确性影响。

Jun, 2018