Apr, 2018

SparseNet: 一种用于图像分类的稀疏 DenseNet

PDF
TL;DR本文提出了一种稀疏 DenseNet 的方法，可以使神经网络在更低的参数和计算代价下实现深度、宽度和连接的同时，在 CIFAR10 和 SVHN 数据集上比现有 state-of-the-art 模型的性能更优，并且相比原始 DenseNet 小 2.6 倍，速度快 3.7 倍。
deep neural networkssparsificationparameter-efficientattention modulecomputer vision
发现论文，激发创造
  • 稠密连接的卷积网络

    该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

    Jan, 2020

  • 紧密连接卷积网络

    该论文介绍了一种称为 DenseNet 的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

    Aug, 2016

  • 稀疏化神经网络连接用于人脸识别

    本文提出了使用稀疏神经连接学习高性能的深度卷积神经网络（称为稀疏 ConvNets）进行人脸识别。通过迭代学习，每次稀疏化一层神经元，并使用先前迭代中学习的初始权重重新训练整个模型，作者发现将稀疏 ConvNet 直接从头开始训练对于人脸识别效果不佳。同时，作者提出了一种新的基于神经相关性的权重选择准则，并验证其有效性，用以在每次迭代中从先前学习的模型中选择有意义的连接。在适度稀疏的结构下（在稠密模型中的权重占比为 26%-76%），与 DeepID2+ 的性能相比，所提出的稀疏 ConvNet 从相同的训练数据中显著提高了人脸识别性能，与只有原始参数的基线模型性能相当。

    Dec, 2015

  • Log-DenseNet: 如何稀疏化 DenseNet

    本文旨在解决 DenseNet 等全连接神经网络层数过深、计算代价过高的问题，提出 Log-DenseNet 的解决方案，并在标签为空的语义分割方面展现了比 DenseNet 更优的表现。

    Oct, 2017

  • 稀疏连接神经网络：实现深度神经网络的高效 VLSI 设计

    本文介绍了一种基于稀疏连接实现深度神经网络的方法，并提出了一种有效的硬件架构，该方法可以减少高度复杂的神经网络的内存需求，并且可以降低能耗高昂的问题。该方法的实现可以在三个流行数据集上提高准确性，同时减少高达 90% 的连接和存储需求以及 84% 的能耗消耗。

    Nov, 2016

  • SBNet: 用于快速推断的稀疏块网络

    本文介绍了一种新型的基于拼贴的稀疏卷积算法，通过利用计算掩码的稀疏结构，降低了 CNN 中高分辨率计算的复杂度，并应用于基于 LiDAR 的 3D 目标检测中，最终获得了显著的速度提升而无需牺牲准确率。

    Jan, 2018

  • 快速稀疏卷积神经网络

    本文介绍了一种使用稀疏性来代替密集操作的高效神经网络建模方法，通过实现一系列高效的稀疏基本操作，并将其用于 MobileNet v1，MobileNet v2 和 EfficientNet 等体系结构中进行了测试，表明稀疏模型不仅效率更高，而且精度比基准模型更高。

    Nov, 2019

  • 图像分类的稀疏深度叠加网络

    本文提出了一种稀疏深层堆叠网络（S-DSN），其中包括稀疏编码和加入混合范数规则的简化神经网络模块（SNNM），用于图像分类。实验结果表明，该模型在四个数据库中表现优异，尤其是在 15 个场景中达到了 98.8％的识别准确率。

    Jan, 2015

  • 稀疏神经网络训练

    本研究介绍了一种使用稀疏计算的神经网络训练和构建方法，通过引入额外的门变量来执行参数选择，并在小型和大型网络上进行实验验证，证明了我们的方法在稀疏神经网络模型的压缩方面取得了最先进的结果。

    Nov, 2016

  • 卷积神经网络中稀疏性的力量

    通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

    Feb, 2017