使用选择性通道分配训练卷积神经网络
通过实验证明了通过在卷积层之间停用连接的方法将采用通道稀疏连接结构的 2D 卷积技术与许多网络体系结构一起使用,可以在保持准确性的同时实现明显的运行时间和内存储存器的节省。
Feb, 2017
本文介绍了使用通道卷积压缩深度模型的方法,这种方法在 CNN 中替换特征图之间的稠密连接为稀疏连接,从而构建轻量级 CNN。ChannelNets 使用三种通道卷积的实例,并通过对 ImageNet 数据集进行实验来证明了其在参数和计算成本上的显著性降低,且不影响准确性。
Sep, 2018
本文提出一种基于通道修剪的卷积神经网络加速算法,该算法通过端到端随机训练和修剪常量通道的方法得到压缩模型,并在多个图像识别任务上验证了其竞争性能。
Feb, 2018
本文提出了一种名为 “网络瘦身” 的新颖学习方案,可以通过引入通道级稀疏性,简化深度卷积神经网络,降低了其计算成本,减小了运行时内存占用,同时不影响准确度。我们进行了多组实验,证明了该方案在各种图像分类数据集上具有较好的效果。
Aug, 2017
卷积神经网络(CNN)在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法,基于剪枝和知识蒸馏,旨在确定卷积层的重要性,以减少计算要求,并在资源受限设备上部署。经过彻底的实证研究,包括最佳数据集(CIFAR-10、CIFAR-100 和 Imagenet)和 CNN 架构(VGG-16、ResNet-50、DenseNet-40 和 MobileNet),我们评估了该提议,并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比,我们的方法取得了出色的结果。因此,OCNNA 是一种竞争性的 CNN 构建方法,可以简化神经网络部署到物联网或资源有限设备的过程。
Dec, 2023
本文介绍了一种在训练期间利用卷积神经网络(CNNs)中学习到的滤波器的显着冗余的方法,通过找到一组小滤波器和混合系数来推导每个卷积层中的每个滤波器,从而减少训练参数。作者使用 CT 图像进行 3D 肺结节分割,证明了该方法只需要少量训练例子即可获得良好的结果。
Dec, 2016
本文提出了一种测试卷积神经网络 (CNNs) 通道的技术,即使用设计的 FtGAN 生成测试数据来测试目标 CNN 中通道的强度变化并使用通道选择算法选择代表性通道,并计算了未预料的分数来评估测试数据的推理结果与训练数据的相似度,从而检测了不同 CNN 模型中的缺陷通道。
Mar, 2023
本研究旨在通过对卷积神经网络的通道剪枝方法进行优化,以提高在移动和嵌入式设备上的计算效率,虽然有些情况下通道剪枝算法可能会损害计算性能,但是我们还是发现采用基于性能的剪枝会达到预期的效果。
Feb, 2020
本研究采用超参数优化的设计范式,将 CNN 的架构设置视为全局优化的超参数,以解决现有方法中网络处理数据而不是网络架构的局限性,实现了比以往使用 CNN 作为黑匣子更高效省电的图像分类。
Aug, 2018