ShuffleNet V2:高效 CNN 架构设计的实践指南
我们推出了一种名为 ShuffleNet 的极度计算效率的卷积神经网络体系结构,专门为计算能力非常有限(例如 10-150 MFLOPs)的移动设备设计。该体系结构利用了两个新操作,即逐点组卷积和通道混洗,以大大降低计算成本,同时保持准确性。在 ImageNet 分类和 MS COCO 对象检测方面的实验表明,ShuffleNet 的性能优于其他结构,在 40 MFLOPs 的计算预算下,Top-1 错误率(绝对 7.8%)低于近期 MobileNet 的 ImageNet 分类任务。在基于 ARM 的移动设备上,ShuffleNet 实现了与 AlexNet 相比约 13 倍的实际加速,同时保持可比的准确性。
Jul, 2017
通过使用梯度的基础方法优化 ConvNet 结构,避免像以前的方法一样枚举并分别训练个别结构,我们提出了一个可微分的神经结构搜索(DNAS)框架。FBNets 是通过 DNAS 发现的模型族,其在设计和生成自动模型方面均超过手动设计的最新模型,并在移动设备上获得更高的准确性和更低的延迟。
Dec, 2018
通过设计 LightNet 总体架构、抽象出 Meta Light Block、提高表示能力的空间运算器和提高初始块的通道运算器以及引入感受野的概念,我们提出了一个名为 FalconNet 的新颖轻量级卷积神经网络模型,实验结果表明,与现有的轻量级 CNN 相比,FalconNet 可以用较少的参数和 Flops 实现更高的准确性。
Jun, 2023
本文提出了一种名为 “网络瘦身” 的新颖学习方案,可以通过引入通道级稀疏性,简化深度卷积神经网络,降低了其计算成本,减小了运行时内存占用,同时不影响准确度。我们进行了多组实验,证明了该方案在各种图像分类数据集上具有较好的效果。
Aug, 2017
本研究探索如何为嵌入式计算系统设计轻量级 CNN 架构,提出了适用于基于 ZYNQ 硬件平台的 L-Mobilenet 模型。L-Mobilenet 可以很好地适应硬件计算和加速,并且其网络结构受到 Inception-ResnetV1 和 MobilenetV2 等最先进技术的启发,能够有效减少参数和延迟,同时保持推理的准确性。通过在 cifar10 和 cifar100 数据集上进行测量,L-Mobilenet 模型相比 MobileNetV2 速度提升了 3 倍,参数减少了 3.7 倍,同时保持了类似的准确性。相较于 ShufflenetV2,L-Mobilenet 模型速度提升了 2 倍,参数减少了 1.5 倍,同时保持了相同的准确性。实验证明,由于对硬件加速和软硬件协同设计策略的特殊考虑,我们的网络模型能够获得更好的性能。
Mar, 2024
本文研究在时间约束成本下,卷积神经网络的准确性和架构设计所需的权衡。通过一系列对比实验,得出一个在 ImageNet 数据集中准确率很高(11.8% 的 top-5 误差,10 视图测试),但比 AlexNet(16.0% 的 top-5 误差,10 视图测试)快 20% 的网络架构。
Dec, 2014
提出了一种简单的卷积神经网络架构 (SimpleNet),在保持计算和内存效率的同时,具有与更复杂的 CNN 相媲美的性能,在多个基准测试中表现出色,包括 CIFAR-10,MNIST,CIFAR-100 和 SVHN,甚至在 ImageNet 数据集中也优于许多更大更深的 CNN 模型。
Aug, 2016
本研究旨在回顾各种最先进技术,探讨如何通过序列减少训练参数和使用像全局均值池化、深度卷积和挤压、模糊化池等技术进行分阶段训练来构建高效的深度卷积网络,并成功实现了在 MNIST 数据集上仅使用 1500 个参数达到 99.2% 的高准确度,并在 CIFAR-10 数据集上仅使用超过 140K 个参数达到了 86.01% 的高准确度。
May, 2022
本文提出了一种自动化的移动神经结构搜索(MNAS)方法,该方法将模型延迟明确地纳入主要目标,以便搜索可以识别满足准确性和延迟之间良好平衡的模型, 实验结果表明,该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型,并且实现了更好的 mAP 质量。
Jul, 2018