CAKES: 通道自动降维核心优化的高效 3D 网络

AAAIMar, 2020

CAKES: 通道自动降维核心优化的高效 3D 网络

CAKES: Channel-wise Automatic KErnel Shrinking for Efficient 3D Networks

Qihang Yu, Yingwei Li, Jieru Mei, Yuyin Zhou, Alan L. Yuille

TL;DR本研究提出一种名为 CAKES 的自动核收缩的方法，通过将标准的 3D 卷积缩小为一组经济操作（例如 1D、2D 卷积），实现了高效的 3D 学习。与以往方法不同，CAKES 执行通道级核收缩，具有提取多样和互补信息以受益学习过程以及有效和灵活的替换设计等好处。并基于此提出了一种新的搜索空间，可以自动确定替换配置以简化 3D 网络。在 3D 医学成像分割和视频动作识别等任务上，CAKES 对于类似模型大小的其他方法显示了优越的性能，并且它也实现了与现有技术相当的性能，但具有更少的参数和计算成本。

Abstract

3d convolution neural networks (CNNs) have been widely applied to 3D scene understanding, such as video analysis and volumetric image recognition. However, 3D networks can easily lead to over-parameterization which incurs expensive computation cost. In this paper, we propose Channel-wi

3d convolution neural networks channel-wise automatic kernel shrinking 3d learning heterogeneous operations efficient replacement design

发现论文，激发创造

增强的 3D 卷积神经网络用于人群计数

本研究提出一种新的架构，称为 “时间通道感知” 块 (TCA)，它能够利用视频序列之间的时间关联，通过结合局部和全局上下文信息，提升特征表示的判别能力，实现更准确的人群计数等任务。实验证明，通过堆叠 TCA 块，所得到的改进的 3D 卷积神经网络 (E3D) 在多个基准数据集上具有优异的性能。

Aug, 2019

基于通道卷积的紧凑高效卷积神经网络

本文介绍了使用通道卷积压缩深度模型的方法，这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接，从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例，并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低，且不影响准确性。

Sep, 2018

通过网络削减学习高效卷积网络

本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

Aug, 2017

面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

Feb, 2020

深度锚定卷积神经网络

本文介绍了一种名为 Deep Anchored Convolutional Neural Network (DACNN) 的卷积神经网络架构，它使用单个卷积核并采用权重共享技术进行网络压缩，同时增加了一个名为 regulators 的易于插入的模块来提高性能，在 CIFAR-10、CIFAR-100 和 SVHN 数据集上验证了其准确性与显著的内存节省。

Apr, 2019

通过层间内核共享大幅减少深度卷积神经网络中可训练参数数量

提出在深度卷积神经网络中通过共享卷积层核来减少可训练参数数量和内存占用的方法，既能够缓解边缘计算内存限制，又能有效地防止过拟合。实验证明该方法能够在保持精度的情况下大幅减少模型大小。

Oct, 2022

LargeKernel3D：对 3D 稀疏卷积神经网络中的卷积核进行扩展

本文提出空间分割卷积及其大卷积核模块来解决直接应用大卷积核在 3D CNNs 中遇到的困难，大卷积核 3D CNN 网络可以用于语义分割和物体检测，取得了较高的性能，说明大卷积核在 3D 视觉任务中是可行并且必不可少的。

Jun, 2022

用于因果关系 3D CNN 的递归卷积

本文提出了一种新的 3D CNN 架构，即循环卷积网络，它通过递归来在每个网络层捕获帧之间的时间上下文，可以产生因果性输出，提供灵活的时间推理，同时保留时间分辨率，适用于在线和视频序列到序列建模等任务。

Nov, 2018

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018

基于正则化方法的三维卷积神经网络剪枝

本文提出了一种基于三维正则化神经网络剪枝的方法，通过分配不同的正则化参数来减少计算和存储消耗，通过分析每个层的冗余和计算成本来确定不同的剪枝比例，实验表明，基于我们的方法的剪枝可以为 3DResNet18 和 C3D 等模型带来 2 倍的理论加速，并仅出现 0.41％和 3.28％的准确度损失，该方法在模型压缩和加速方面表现优异。

Nov, 2018