NIPSSep, 2018

基于通道卷积的紧凑高效卷积神经网络

PDF
TL;DR本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。
发现论文，激发创造
  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • MobileNets：面向移动视觉应用的高效卷积神经网络

    本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

    Apr, 2017

  • CT-Net: 基于通道张量化的视频分类网络

    本研究提出 Channel Tensorization Network (CT-Net)，通过将输入特征的通道维度视为 K 个子维度的乘积来分解卷积，从而轻量化计算量，有效增强不同通道的特征交互，并逐步扩大 3D receptive field，以提高视频分类准确率。在几个具有挑战性的视频基准中（如 Kinetics-400，Something-Something V1 和 V2）的实验中表明，相较于其他最新的方法，CT-Net 在准确性和效率方面表现更优。

    Jun, 2021

  • 卷积神经网络中稀疏性的力量

    通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用，可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。

    Feb, 2017

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • CondenseNet：使用学习群卷积的高效 DenseNet

    本文介绍了一种名为 CondenseNet 的新型神经网络体系结构，其使用学习组卷积方法实现了稠密连接，移除了那些无用的连接，并使得此模型比类似 MobileNets 和 ShuffleNets 的最先进紧凑卷积网络更为高效。

    Nov, 2017

  • 使用选择性通道分配训练卷积神经网络

    本文提出了一种简单的方法，通过通道选择性来提高拥有大规模特征的 CNN 模型的能力，以更有效的资源利用实现更好的泛化性能。

    May, 2019

  • 面向移动应用的快速低功耗深度卷积神经网络压缩

    提出了一种简单而有效的方案 —— 单次整个网络压缩，以在移动设备上部署深度卷积神经网络，并通过对各种压缩卷积神经网络在智能手机上的性能进行测试，证明了所提方案的有效性，可获得显著的模型尺寸、运行时间和能量消耗的降低，同时只付出了小量精度损失。

    Nov, 2015

  • 压缩卷积神经网络

    本文介绍了一种名为 FreshNets 的新型神经网络体系结构，它利用学习模型的卷积层和全连接层中的固有冗余性以实现内存和存储消耗的显着节省，同时在压缩性能方面优于现有基线模型。

    Jun, 2015