Dec, 2023

卷积神经网络架构优化

PDF
TL;DR卷积神经网络（CNN）在面对声音识别、自然语言处理或计算机视觉等具有挑战性的任务时被广泛使用。本文提出了一种新颖的 CNN 优化和构建方法，基于剪枝和知识蒸馏，旨在确定卷积层的重要性，以减少计算要求，并在资源受限设备上部署。经过彻底的实证研究，包括最佳数据集（CIFAR-10、CIFAR-100 和 Imagenet）和 CNN 架构（VGG-16、ResNet-50、DenseNet-40 和 MobileNet），我们评估了该提议，并将准确度损失和剩余参数比率作为客观指标来比较 OCNNA 与其他最先进的方法的性能。与其他 20 多种卷积神经网络简化算法相比，我们的方法取得了出色的结果。因此，OCNNA 是一种竞争性的 CNN 构建方法，可以简化神经网络部署到物联网或资源有限设备的过程。
convolutional neural networksoptimizing convolutional neural network architecturepruningknowledge distillationresource-restricted devices
发现论文，激发创造
  • 卷积神经网络结构分析与优化

    本文提供了对现有技术的卷积神经网络分析和拓扑构建的全面概述，并描述和评估了一些层次分类器。此外，本文还开发了一种可视化分类错误的新方法，并在 CIFAR-100 上量化了一些结果，如在精度方面较小批量大小、平均集成、数据增强和测试时间转换等的积极影响。本文还开发了一个模型，它只有 100 万个学习参数，适用于 32x32x3 和 100 类输入，并在基准数据集 Asirra、GTSRB、HASYv2 和 STL-10 上击败了现有技术。

    Jul, 2017

  • 通过架构特征推断卷积神经网络的准确性

    本研究提出了一种有利于评估不同卷积神经网络体系结构的系统性语言，该语言能够在训练前进行比较，本研究使用该语言在两个具体的基于计算机视觉的物理问题上，解决了事件顶点查找和强子多重性分类问题，同时提取了优化网络架构中的几个架构属性，使用机器学习模型对其进行了预测。

    Jan, 2020

  • 芯片上的光学卷积神经网络

    本论文介绍了一种基于光子学电路的 CNN 数字处理体系结构，相较于当前电子学电路，本体系结构在每次推断中消耗的能量仅为其一部分。

    Aug, 2018

  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016

  • 通过网络削减学习高效卷积网络

    本文提出了一种名为 “网络瘦身” 的新颖学习方案，可以通过引入通道级稀疏性，简化深度卷积神经网络，降低了其计算成本，减小了运行时内存占用，同时不影响准确度。我们进行了多组实验，证明了该方案在各种图像分类数据集上具有较好的效果。

    Aug, 2017

  • 深度卷积神经网络最近的架构调查

    本文从深度卷积神经网络的内在分类入手，将现有研究成果归纳为七大类，即空间利用、深度、多路径、宽度、特征图利用、通道增强和注意力，同时介绍 CNN 组件的基础理解、当前挑战和应用领域。

    Jan, 2019

  • 卷积神经网络结构冗余减少的剪枝

    本文提出了一种卷积神经网络的结构冗余剪枝方法，通过在最具有结构冗余性的层剪枝，可以相对于之前研究集中在去除不重要滤波器的方法，更有效地压缩网络架构，并在不同的基准模型和数据集上获得了显著优越的表现

    Apr, 2021

  • 一种深层神经网络压缩的新型通道修剪方法

    本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

    May, 2018

  • 面向嵌入式 GPU 的性能感知卷积神经网络通道剪枝

    本研究旨在通过对卷积神经网络的通道剪枝方法进行优化，以提高在移动和嵌入式设备上的计算效率，虽然有些情况下通道剪枝算法可能会损害计算性能，但是我们还是发现采用基于性能的剪枝会达到预期的效果。

    Feb, 2020

  • 卷积神经网络的简约推断：学习并应用在线内核激活规则

    本文提出了一种新的 CNN 设计方法，旨在通过对 CNN 架构和训练过程的综合干预来减少总推理计算量，通过引入一种新的结构元素作为附加组件到任何现代 CNN 架构中，系统地提出了一种数据驱动的开发 CNN 的公式，旨在实时改变大小和形式，从而使计算占用更小。最佳实现的结果表明了在几个现代高端移动计算平台上的显著加速。

    Jan, 2017