Nov, 2017

CondenseNet：使用学习群卷积的高效 DenseNet

PDF
TL;DR本文介绍了一种名为 CondenseNet 的新型神经网络体系结构，其使用学习组卷积方法实现了稠密连接，移除了那些无用的连接，并使得此模型比类似 MobileNets 和 ShuffleNets 的最先进紧凑卷积网络更为高效。
deep neural networkscondensenetefficient architecturelearned group convolutionmobilenets
发现论文，激发创造
  • 稠密连接的卷积网络

    该研究提出 Dense Convolutional Network (DenseNet) 模型，使用每一层之前的所有特征图作为输入，解决了梯度消失的问题，促进了特征重用，并在目标识别领域的四个竞争性基准上显着提高了性能效率。

    Jan, 2020

  • 基于通道卷积的紧凑高效卷积神经网络

    本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。

    Sep, 2018

  • 紧密连接卷积网络

    该论文介绍了一种称为 DenseNet 的神经网络架构，通过将每一层与其他每一层之间连接起来，可以解决传统卷积神经网络中权重消失和特征重用问题，在目标识别领域中表现优异。

    Aug, 2016

  • ShuffleNet: 面向移动设备的高效卷积神经网络

    我们推出了一种名为 ShuffleNet 的极度计算效率的卷积神经网络体系结构，专门为计算能力非常有限（例如 10-150 MFLOPs）的移动设备设计。该体系结构利用了两个新操作，即逐点组卷积和通道混洗，以大大降低计算成本，同时保持准确性。在 ImageNet 分类和 MS COCO 对象检测方面的实验表明，ShuffleNet 的性能优于其他结构，在 40 MFLOPs 的计算预算下，Top-1 错误率（绝对 7.8％）低于近期 MobileNet 的 ImageNet 分类任务。在基于 ARM 的移动设备上，ShuffleNet 实现了与 AlexNet 相比约 13 倍的实际加速，同时保持可比的准确性。

    Jul, 2017

  • MobileNets：面向移动视觉应用的高效卷积神经网络

    本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

    Apr, 2017

  • Condensation-Net: 交叉通道池化层和虚拟特征图的内存高效网络结构

    本文介绍了如何通过交叉通道池化技术减少轻量级卷积神经网络的计算复杂度，提高对象检测的准确性，并采用 Condensation-Net 算法，实现在有限的硬件资源平台上的图像识别任务。

    Apr, 2021

  • 可分组卷积神经网络实现可微学习通道分组

    本文介绍了一种名为 Groupable ConvNet (GroupNet) 的新型网络，通过新型的动态分组卷积（DGConv）操作学习端到端的组数，达到了优于传统 ResNet 和 ResNeXt 的准确性和计算复杂度。该方法具有统一的卷积表示，可执行许多现有卷积操作，是一个可微和灵活的操作，可以从训练数据中学习执行各种卷积操作。

    Aug, 2019

  • 压缩中等规模深度神经网络的高效灵活方法

    我们提出了一种凝结缩减算法，验证了这一想法在实际问题中的可行性，可以将神经网络的规模减小，并在保持预测准确性的同时减少计算压力和提高推理速度。

    May, 2024

  • CondenseNet V2: 深度网络中的稀疏特征重激活

    本文提出了一种名为 CondenseNetV2 的网络模型，运用稀疏特征重激活（SFR）的技术，选择性地重复使用前一层的重要特征，并活跃地更新前序特征以增加它们在后续层次的效用，从而在图像分类和物体检测方面实现了有前途的性能。

    Apr, 2021

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017