Dec, 2018

神经复苏：通过提高计算资源利用率提高深度网络训练

HTML
PDF
TL;DR本文旨在研究提高神经网络的计算资源利用率的问题，提出了一种名为“神经再生”的优化方法，通过检测死亡神经元，实时计算资源利用情况，重新分配和初始化资源，应用新的训练方案进行重新训练，可大幅提高神经网络的性能，同时保持原有的资源使用情况。
发现论文，激发创造
  • 网络修剪：一种面向高效深度结构的数据驱动神经元裁剪方法

    该论文提出了基于剪枝算法的神经网络优化方法，能够在不影响网络准确率的情况下减轻计算和内存开销，实现较高的参数压缩比。

    Jul, 2016

  • 通过分层最优脑外科医生学习剪枝深度神经网络

    本文提出了一种基于层次的剪枝方法对深度神经网络进行压缩，通过独立剪枝每个层次的参数可以保证压缩后的网络只需要进行轻量级的重新训练即可恢复预测能力，并在基准数据集上进行了广泛实验以证明其有效性。

    May, 2017

  • 深层门控网络：深度学习训练和泛化的框架理解

    通过深门控网络作为框架，理论分析和实验验证了几种DGNs变体，阐述了深度神经网络的训练和泛化方面的问题，着重讨论了为什么增加深度能帮助训练到一定程度，而增加深度会伤害训练，以及证明了门控自适应在泛化中的关键作用。

    Feb, 2020

  • 神经网络剪枝的现状是什么？

    对神经网络修剪技术的元分析表明当前存在缺乏标准基准和度量标准的不足，该研究提出了ShrinkBench框架，用于规范评估修剪方法，以消除修剪技术比较中的常见问题。

    Mar, 2020

  • 有意义的网络剪枝：重新训练变体的案例研究

    本文分析不同的修剪机制对神经网络修剪重训练的影响

    May, 2021

  • 高效保留模型准确性的自动神经网络剪枝

    本文提出一种自动修剪方法来减少神经网络中的FLOPs，该方法通过引入可训练瓶颈来学习哪些神经元需要被保留以保持模型准确性，实验证明，该方法可以在保持模型准确性的前提下显著减少模型的FLOPs。

    Nov, 2021

  • AP: 稀疏剪枝神经网络的有选择激活去稀疏化

    提出了一种名为 Activating-while-Pruning 的方法，通过选择性激活节点来降低动态死神经元率从而提高裁剪网络的性能。实验表明，AP 可以使经典的和先进的裁剪方法的性能提高3%-4%。

    Dec, 2022

  • 通过模型再造重复使用深度神经网络模型

    SeaM是一种改进现有DNN模型可重用性的工具，它使用基于梯度的搜索方法搜索模型的相关权重，从而重建模型以仅保留与目标问题相关的权重，并且相较于原始模型，在分类准确性上提高了5.85％，并且重复使用重建模型时缺陷继承平均减少了57％。

    Apr, 2023

  • 深度神经网络中适应层自适应权重剪枝的高效联合优化

    我们提出了一种新颖的层自适应权重剪枝方法，通过优化输出失真最小化并同时遵守目标剪枝比例约束，实现了对深度神经网络 (DNNs) 的优化。我们发现和利用了多个层的权重剪枝导致的输出失真具有非常重要的可加性特性，并基于此特性将剪枝问题建模为一个组合优化问题，并通过动态规划高效解决。我们用子问题分解的方式使问题具有线性时间复杂度，从而使我们的优化算法快速且适用于 CPU 运行。在 ImageNet 和 CIFAR-10 数据集上的广泛实验证明了我们方法的优越性。在 CIFAR-10 上，我们的方法在 ResNet-32、VGG-16 和 DenseNet-121 的 top-1 准确率方面分别超过了其他方法 1.0%、0.5% 和 0.7%。在 ImageNet 上，我们的方法分别比其他方法提高了 VGG-16 和 ResNet-50 的 top-1 准确率高达 4.7% 和 4.6%。这些结果突出了我们的方法通过层自适应权重剪枝来提升 DNN 性能的效果和实用性。代码将在此 https URL 上提供。

    Aug, 2023

  • 深且窄的前馈神经网络的改进权重初始化

    通过引入新的权重初始化方法，本论文证明了所提出的初始权重矩阵的特性，展示了这些特性如何促进信号向量的有效传播，并通过一系列实验和与现有方法的比较展示了新的初始化方法的有效性。

    Nov, 2023