在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究

Jun, 2024

在 NVIDIA Jetson Nano 上为实时系统进行深度学习模型基准测试：一项实证研究

Benchmarking Deep Learning Models on NVIDIA Jetson Nano for Real-Time Systems: An Empirical Investigation

Tushar Prasanna Swaminathan, Christopher Silver, Thangarajah Akilan

TL;DR研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。

Abstract

The proliferation of complex deep learning (DL) models has revolutionized various applications, including computer vision-based solutions, prompting their integration into real-time systems. However, the resource-intensive nature of these models poses challenges for deployment on low-computational power and low-memory devices, like embedded and edge devices.

complex deep learning models optimization embedded devices inference speed model development

发现论文，激发创造

边缘 GPU 中的 CNN 架构提取

通过进行侧信道分析，探索了神经网络在资源受限环境中的容易被逆向工程攻击的脆弱性，并发现神经网络架构可以通过深度学习的侧信道分析轻易被区分。

Jan, 2024

移动 / 嵌入式设备高效推理的动态深度神经网络和运行时管理

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

EmBench：量化现代通用设备上深度神经网络的性能变化

该研究使用各种普通设备系统地评估了一系列最先进的 DNN，识别了每种架构的潜在瓶颈，并提供了可以帮助社区协同设计更高效的 DNN 和加速器的重要指导方针。

May, 2019

硬件感知机器学习：建模与优化

本篇论文全面评估现有的面向硬件的深度学习模型建模和优化方法，提出几个值得探讨的研究方向，旨在让深度学习的应用对硬件系统和平台产生显著影响。

Sep, 2018

嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

Oct, 2023

优化的深度神经网络在纳米无人机上的视觉姿态估计部署

通过使用深度神经网络进行视觉姿态估计任务的新型自动优化流程，本研究针对小型自主无人机的智能化实现提出了两种不同的神经架构搜索算法，采用一套新颖的软件核心，通过并行超低功耗的片上系统在现成的纳米无人机上执行关键深度神经网络层序列，成功提高了当前技术水平并将推理延迟降低高达 3.22 倍。

Feb, 2024

面向运行时优化的边缘人工智能设备深度神经网络目标检测部署

研究了两种不同的物体检测网络在嵌入式 AI 平台中的部署和运行环境，针对 TensorRT 和 TorchScript 两个库进行了 Runtime 和性能方面的对比分析，结果表明量化技术显著提高了部署效率而对检测性能的影响较小。

Aug, 2021

基于设计自动化的快速、轻量化和高效的深度学习模型：一项调查

该研究综述了针对边缘计算的深度学习模型设计自动化技术，包括自动神经架构搜索、自动模型压缩和联合自动设计和压缩，并提出了未来研究的方向。

Aug, 2022

边缘设备上实现深度学习

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

估算异构设备在执行 AI 推理时的功耗消耗

本文研究了物联网在物体识别任务中的能量消耗以及 NVIDIA Jetson Nano 板子的实际表现，最终通过对 YOLOv5 模型进行性能测试，发现 YOLOv5n 在低功耗消耗下实现了更高的帧率（12.34fps），达到了更为优秀的表现。

Jul, 2022