Dec, 2023

具有梯度采样优化的残差神经网络的鲁棒剪枝

PDF
TL;DR本研究探讨了一种创新的神经网络优化方法，专注于在修剪过程中应用与 StochGradAdam 类似的梯度采样技术。我们的主要目标是在修剪模型时保持高精度水平，这是资源受限场景中的一个重要挑战。我们广泛的实验证明，使用梯度采样技术优化的模型在修剪过程中相对于使用传统优化方法的模型更有效地保持准确性。这一发现强调了梯度采样在促进稳健学习方面的重要性，使得网络即使在复杂度大幅减少后仍能保留关键信息。我们在各种数据集和神经网络结构上验证了我们的方法，展示了其广泛的适用性和有效性。该论文还深入研究了理论方面，解释了梯度采样技术在修剪过程中对模型稳健性的贡献。我们的结果为在计算资源受限的环境中创建不会牺牲准确性的高效神经网络指明了一个有希望的方向。
neural network optimizationgradient sampling techniquespruningaccuracy preservationresource-limited scenarios
发现论文，激发创造
  • 梯度下降剪枝神经网络

    我们介绍了一种新颖而简单的神经网络剪枝框架，通过引入 Gumbel-Softmax 技术，在端到端的过程中使用随机梯度下降同时优化网络的权重和拓扑结构，实现了网络的卓越压缩能力，保持了在 MNIST 数据集上的高准确性，仅使用了原始网络参数的 0.15％。此外，我们的框架提升了神经网络的可解释性，不仅能够轻松从剪枝网络中提取特征重要性，而且能够可视化特征对称性和信息传递路径，学习策略通过深度学习得到，但却令人惊讶地直观且可理解，专注于选择重要的代表性特征并利用数据模式实现极度稀疏的剪枝。我们相信我们的方法为深度学习剪枝和可解释的机器学习系统的创建开辟了有前途的新途径。

    Nov, 2023

  • 保持梯度流的情况下在训练之前选择获胜的票数

    该研究旨在通过初始修剪神经网络来提高训练和测试时的资源效率。通过保留网络中的梯度流，提出了一个名为 GraSP 的简单但有效的剪枝标准，并在 VGGNet 和 ResNet 架构上进行了广泛实验，证明其在极度稀疏的情况下具有更好的性能。

    Feb, 2020

  • 初始化时的鲁棒剪枝

    深度神经网络修剪方法的全面理论分析及其在各种网络架构上的实验验证。

    Feb, 2020

  • 高维空间中学习稀疏特征的最优修剪

    通过在高维度中训练剪枝神经网络并与梯度下降算法结合，我们研究了剪枝网络对广泛类统计模型学习的影响，发现剪枝神经网络在样本复杂度上相比未剪枝网络有提升，并引入了相关统计查询下界来支持这一观点。

    Jun, 2024

  • 通过神经再生的增强修剪可塑性实现稀疏训练

    本论文研究了通过神经再生技术改进的渐进式剪枝算法（GraNet），它结合了取得与单次剪枝同等性能和训练 / 推理效率的优点，尤其是其稀疏 - 稀疏模式极大地提高了 ResNet-50 在 ImageNet 上的性能。

    Jun, 2021

  • StochGradAdam：利用随机梯度采样加速神经网络训练

    该研究论文介绍了深度学习优化领域中的 StochGradAdam 优化器，它是 Adam 算法的一种新变体，核心是梯度采样技术。该方法不仅确保了稳定的收敛性，还充分利用了选择性梯度考虑的优势，通过减轻嘈杂或异常数据的影响以及增强损失函数空间的探索，提高了可靠性收敛。在图像分类和分割任务中，StochGradAdam 优化器表现出优越的性能，相较于传统的 Adam 优化器。通过在每次迭代中精确采样一部分梯度，该优化器被优化用于管理复杂模型。该论文全面探讨了 StochGradAdam 的方法论，从数学基础到偏差校正策略，为深度学习训练技术的有望进展铺平了道路。

    Oct, 2023

  • 通过梯度重连修剪深度尖峰神经网络

    本文提出了一种基于神经系统突触发生和消失机制的梯度重连算法，用于 SNNs 中的连接性和权重优化，实现了对网络结构的优化而无需重新训练，实验结果表明，该方法能够在 MNIST 和 CIFAR-10 数据集上实现对 SNNs 性能的最小损失，并且在 0.73% 的连接性下，只有约 3.5% 的精度损失，具有优秀的结构优化能力。

    May, 2021

  • 通过修剪激活梯度加速 CNN 训练

    通过修剪更小的梯度和考虑激活梯度的统计分布，我们提出了一种方法来加速 CNN 训练，这将不会影响准确率。

    Aug, 2019

  • 图神经网络稀疏训练的全面图剪枝

    本文提出了一种基于渐进式图剪枝 (CGP) 的图神经网络 (GNN) 压缩框架，综合剪枝了图结构、节点特征和模型参数，同时引入重生过程以重新建立重要的连接，实验结果表明 CGP 策略在提高训练和推断效率的同时保证准确性超过了现有方法。

    Jul, 2022

  • 训练前进行修剪可能改善泛化性能，可以证明

    该研究可以通过不同的修剪比率来影响模型的梯度下降动态和泛化性能，但是过高的修剪比率可能会导致模型性能下降，从而导致模型无法学习到有用的特征。

    Jan, 2023