Jun, 2023

边缘设备推理性能比较

PDF
TL;DR本研究分析了 MobileNet，EfficientNet，VGG，Resnet 和 InceptionV3 等多个卷积神经网络在多种设置下的推理时间，结果发现 Google 平台的推理速度最快，特别是对于 MobileNet 或 EfficientNet 等较新的模型；而 Intel Neural Stick 是最通用的加速器，可运行大多数结构。
发现论文，激发创造
  • 边缘 GPU 中的 CNN 架构提取

    通过进行侧信道分析，探索了神经网络在资源受限环境中的容易被逆向工程攻击的脆弱性，并发现神经网络架构可以通过深度学习的侧信道分析轻易被区分。

    Jan, 2024

  • 嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

    最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

    Oct, 2023

  • 在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究

    研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。

    Jun, 2024

  • 使用移动 GPU 进行设备端神经网络推断

    本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

    Jul, 2019

  • 边缘面部表情识别：CPU vs GPU vs VPU vs TPU

    本研究提出了一种分层框架，用于针对边缘部署开发和优化硬件感知的 CNN，并且在多种边缘 AI 加速器上进行全面的分析。使用该策略在 CK + 面部表情数据集上达到了 99.49% 的峰值准确度，并实现了 0.39 毫秒的最小推断延迟和 0.52 瓦特的最小功耗。

    May, 2023

  • 实时面部表情识别：神经形态硬件对边缘人工智能加速器的比较

    本研究聚焦于实时人脸表情识别（FER）系统作为社会机器人等各种现实世界应用的重要组成部分。我们调查了两种用于边缘部署 FER 机器学习（ML）模型的硬件选择：神经形态硬件和边缘 AI 加速器。我们的研究包括详尽的实验，对比分析了 Intel Loihi 神经形态处理器与四种不同的边缘平台：Raspberry Pi-4、Intel Neural Compute Stick（NSC）、Jetson Nano 和 Coral TPU。实验结果表明，Loihi 与边缘加速器相比，能够实现功耗降低约两个数量级，以及能耗节约约一个数量级。这些功耗和能耗的降低是在维持神经形态解决方案与边缘加速器相当准确性的情况下实现的，而且都在实时延迟要求内。

    Jan, 2024

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 开发一种面向表面缺陷检测的资源受限边缘 AI 模型

    我们提出了一种轻量级的 EdgeAI 架构，用于资源受限的边缘环境中的设备端训练，在 PCB 缺陷检测任务中展示出卓越的性能，同时在内存效率方面优于其他模型。

    Dec, 2023

  • 使用 IntelCaffe 进行高效 8 位低精度卷积神经网络推断

    本文介绍了 IntelCaffe 的高效推断技术以及用于深度学习模型优化的技术，它是第一个支持 8 位低精度推断的 Intel 优化深度学习框架，能够在 Intel Xeon Scalable 处理器上加速卷积神经网络的模型优化过程。该模型的 8 位优化模型可通过一次标定过程从 FP32 模型自动生成，无需进行微调或重新训练，其在 ResNet-50、Inception-v3 和 SSD 上的推断吞吐量和延迟分别提高了 1.38X-2.9X 和 1.35X-3X，精度损失可忽略不计，与 IntelCaffe FP32 基线相比，这些技术还使得吞吐量和延迟分别提高了 56X-75X 和 26X-37X。这些技术已在 IntelCaffe GitHub 进行了开源，并提供了 Amazon AWS Cloud 上重现结果的文物。

    May, 2018

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019