Mar, 2024

探索嵌入式计算系统中硬件友好的卷积神经网络瓶颈架构

PDF
TL;DR本研究探索如何为嵌入式计算系统设计轻量级 CNN 架构，提出了适用于基于 ZYNQ 硬件平台的 L-Mobilenet 模型。L-Mobilenet 可以很好地适应硬件计算和加速，并且其网络结构受到 Inception-ResnetV1 和 MobilenetV2 等最先进技术的启发，能够有效减少参数和延迟，同时保持推理的准确性。通过在 cifar10 和 cifar100 数据集上进行测量，L-Mobilenet 模型相比 MobileNetV2 速度提升了 3 倍，参数减少了 3.7 倍，同时保持了类似的准确性。相较于 ShufflenetV2，L-Mobilenet 模型速度提升了 2 倍，参数减少了 1.5 倍，同时保持了相同的准确性。实验证明，由于对硬件加速和软硬件协同设计策略的特殊考虑，我们的网络模型能够获得更好的性能。
lightweight cnn architectureembedded computing systemsl-mobilenet modelzynq based hardware platformhardware accelerating
发现论文，激发创造
  • ShuffleNet: 面向移动设备的高效卷积神经网络

    我们推出了一种名为 ShuffleNet 的极度计算效率的卷积神经网络体系结构，专门为计算能力非常有限（例如 10-150 MFLOPs）的移动设备设计。该体系结构利用了两个新操作，即逐点组卷积和通道混洗，以大大降低计算成本，同时保持准确性。在 ImageNet 分类和 MS COCO 对象检测方面的实验表明，ShuffleNet 的性能优于其他结构，在 40 MFLOPs 的计算预算下，Top-1 错误率（绝对 7.8％）低于近期 MobileNet 的 ImageNet 分类任务。在基于 ARM 的移动设备上，ShuffleNet 实现了与 AlexNet 相比约 13 倍的实际加速，同时保持可比的准确性。

    Jul, 2017

  • SqueezeNext: 硬件感知神经网络设计

    介绍了一种新的神经网络 SqueezeNext，相比现有的神经网络有更小的模型体积和更高的运行效率，可以在嵌入式系统中广泛应用。

    Mar, 2018

  • 移动设备上的量化卷积神经网络

    该研究提出了一种名为量化卷积神经网络的模型，旨在通过量化卷积层中的滤波器核和全连接层中的权重矩阵，实现计算效率的提升和存储内存开销的降低，相对于非量化模型，该模型在 ILSVRC-12 基准测试中达到 4~6 倍的加速和 15~20 倍的压缩，仅有 1% 左右的分类准确率损失，并且甚至可以在移动设备上在一秒内精准分类照片。

    Dec, 2015

  • 嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

    最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

    Oct, 2023

  • MnasNet：面向移动端平台感知的神经结构搜索

    本文提出了一种自动化的移动神经结构搜索（MNAS）方法，该方法将模型延迟明确地纳入主要目标，以便搜索可以识别满足准确性和延迟之间良好平衡的模型， 实验结果表明，该方法在多个视觉任务中始终优于现有的移动卷积神经网络模型，并且实现了更好的 mAP 质量。

    Jul, 2018

  • MobileNetV2：反向残差和线性瓶颈

    本研究提出了新的 MobileNetV2 架构，通过在多个任务和基准上的性能改进，跨不同模型尺寸范围提高了移动模型的性能；此外，通过称为 SSDLite 的新颖框架来应用这些移动模型进行目标检测；最后，我们构建轻量级的 Mobile DeepLabv3 来进行移动语义分割。

    Jan, 2018

  • MobileNets：面向移动视觉应用的高效卷积神经网络

    本文介绍了 MobileNets 这一基于深度可分离卷积的轻量级深度神经网络架构，提出了利用全局超参数在时延和准确性之间平衡的方法，并在图像分类等多个领域进行了广泛实验。

    Apr, 2017

  • 简单为上，简单架构超越深度和复杂架构

    提出了一种简单的卷积神经网络架构 (SimpleNet)，在保持计算和内存效率的同时，具有与更复杂的 CNN 相媲美的性能，在多个基准测试中表现出色，包括 CIFAR-10，MNIST，CIFAR-100 和 SVHN，甚至在 ImageNet 数据集中也优于许多更大更深的 CNN 模型。

    Aug, 2016

  • 基于可微分神经架构搜索的硬件感知高效卷积神经网络设计：FBNet

    通过使用梯度的基础方法优化 ConvNet 结构，避免像以前的方法一样枚举并分别训练个别结构，我们提出了一个可微分的神经结构搜索（DNAS）框架。FBNets 是通过 DNAS 发现的模型族，其在设计和生成自动模型方面均超过手动设计的最新模型，并在移动设备上获得更高的准确性和更低的延迟。

    Dec, 2018

  • 实现边缘智能动态卷积神经网络推理的探索

    本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

    Feb, 2022