Dec, 2015

稀疏化神经网络连接用于人脸识别

PDF
TL;DR本文提出了使用稀疏神经连接学习高性能的深度卷积神经网络（称为稀疏 ConvNets）进行人脸识别。通过迭代学习，每次稀疏化一层神经元，并使用先前迭代中学习的初始权重重新训练整个模型，作者发现将稀疏 ConvNet 直接从头开始训练对于人脸识别效果不佳。同时，作者提出了一种新的基于神经相关性的权重选择准则，并验证其有效性，用以在每次迭代中从先前学习的模型中选择有意义的连接。在适度稀疏的结构下（在稠密模型中的权重占比为 26%-76%），与 DeepID2+ 的性能相比，所提出的稀疏 ConvNet 从相同的训练数据中显著提高了人脸识别性能，与只有原始参数的基线模型性能相当。
发现论文，激发创造
  • 卷积神经网络中稀疏性的力量

    通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

    Feb, 2017

  • 稀疏连接神经网络：实现深度神经网络的高效 VLSI 设计

    本文介绍了一种基于稀疏连接实现深度神经网络的方法，并提出了一种有效的硬件架构，该方法可以减少高度复杂的神经网络的内存需求，并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性，同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。

    Nov, 2016

  • SparseNet: 一种用于图像分类的稀疏 DenseNet

    本文提出了一种稀疏 DenseNet 的方法，可以使神经网络在更低的参数和计算代价下实现深度、宽度和连接的同时，在 CIFAR10 和 SVHN 数据集上比现有 state-of-the-art 模型的性能更优，并且相比原始 DenseNet 小 2.6 倍，速度快 3.7 倍。

    Apr, 2018

  • 通过自适应稀疏连接提高深度学习的泛化能力

    本文中，我们提出了一种基于稀疏连接的神经网络模型，使用自适应稀疏连接和纯化神经元的方法进行训练，并将其应用于 MLP 模型上，测试结果表明，该方法在 15 个数据集上表现出了竞争性的分类和泛化性能。

    Jun, 2019

  • 稠密连接的卷积网络

    该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

    Jan, 2020

  • 学习权重和连接以实现高效神经网络

    通过三步法修剪不必要的神经元连接，我们成功将 AlexNet 的参数从 6100 万精简到了 670 万，无性能损失。

    Jun, 2015

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 通过结构化连续稀疏化增加深度网络的效率

    本文提出了一种基于准确性和稀疏性目标的深层网络动态构建算法，与传统的剪枝方法不同，本方法采用渐进式连续松弛和网络优化，然后采样稀疏子网络，使得训练出来的深层网络更加高效。实验结果证明，采用本算法训练的网络比其他竞争的剪枝方法更加精确且规模更小。

    Jul, 2020

  • 始终稀疏训练：引导随机探索下的连接增长

    现代人工神经网络的过多计算需求为可以运行它们的机器带来了限制。我们提出一种高效的、始终稀疏训练算法，具有一流的大规模和更稀疏模型的线性时间复杂度，并通过引导随机探索算法改善了先前稀疏训练方法的准确性。

    Jan, 2024

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017