perf4sight：用于在边缘 GPU 上建模 CNN 训练性能的工具流

ICCVAug, 2021

perf4sight：用于在边缘 GPU 上建模 CNN 训练性能的工具流

perf4sight: A toolflow to model CNN training performance on Edge GPUs

Aditya Rajagopal, Christos-Savvas Bouganis

TL;DR本研究提出了一种自动方法：perf4sight，它能够使用 PyTorch 作为框架和 NVIDIA Jetson TX2 作为目标设备，开发出准确预测 CNN 训练内存和延迟的模型，为边缘 GPU 上的高效网络调整铺平道路。

Abstract

The increased memory and processing capabilities of today's edge devices create opportunities for greater edge intelligence. In the domain of vision, the ability to adapt a convolutional neural network's (CNN) st

edge intelligence convolutional neural network latency prediction memory footprint prediction network topology

发现论文，激发创造

现在我能看到，我能改进：在边缘使 CNN 的数据驱动微调成为可能

本文提供基于结构剪枝的边缘设备上的 CNN 微调方法，旨在提高模型精度和降低计算和存储性能消耗。结果表明，数据感知的剪枝和重新训练可以在各种子集，网络和剪枝级别上提供 10.2pp 的精度提高。

Jun, 2020

MAPLE-Edge：用于边缘设备的运行时延迟预测器

本论文提出了 MAPLE-Edge，一个边缘设备定向的 MAPLE 扩展版本，它通过使用硬件 - 运行时描述符，训练架构 - 延迟回归网络来实现对边缘设备的延迟预测，与 MAPLE 相比，MAPLE-Edge 可以使用更少的 CPU 性能计数器来描述运行时和目标设备平台。同时，MAPLE-Edge 表现出比现有方法更高的延迟预测精度，并且可以很好地推广到跨运行时的设备。此外，作者还证明了通过从目标设备收集额外的样本，可以提高算法的性能。

Apr, 2022

NeuroFlux: 自适应本地学习的内存高效 CNN 训练

在受限资源的移动和边缘环境中，创新的卷积神经网络（CNN）训练系统 NeuroFlux 旨在提高训练效率，通过引入自适应辅助网络和块特定的自适应批处理大小来减少 GPU 内存使用，并缩短训练时间，从而实现了 2.3 倍到 6.1 倍的速度提升和精度不损失的模型。

Feb, 2024

移动计算机视觉卷积神经网络的延迟和吞吐量特征化

本文研究了用于移动计算机视觉系统的卷积神经网络性能特征，使用不同的硬件平台和软件框架以及本地和远程计算，并指出存在重要的延迟 - 吞吐量折衷，并阐述影响性能的几个因素。

Mar, 2018

实现边缘智能动态卷积神经网络推理的探索

本研究提出了动态流式传输模型参数和基于库的方法来实现传统 CNN 架构的可扩展和动态分布式 CNN 推断，利用部分重构技术提高了资源受限的边缘设备的性能，并在 Xilinx PYNQ-Z2 板上实现了 LeNet-5 CNN 模型，具有 92％，86％和 94％的分类准确率。

Feb, 2022

EF-Train: FPGA 上通过数据重塑实现高效的 CNN 设备端训练以进行在线适应或个性化

本研究设计的 EF-Train 是一种高效的 DNN 训练加速器，通过数据重塑，并建立自动计算和内存资源调度的分析模型，在低功耗边缘级 FPGA 上实现端到端的训练，最终达到了 46.99 GFLOPS 和 6.09GFLOPS/W 的吞吐量和能量效率。

Feb, 2022

边缘计算上机器学习包性能比较

本文通过对 TensorFlow、Caffe2、MXNet、PyTorch 和 TensorFlow Lite 等多种机器学习软件在不同边缘设备上的性能评估，包括延迟、内存占用和耗能等方面，旨在为最终用户提供参考并为开发人员指出优化软件包的未来方向。

Jun, 2019

使用 AutoML 实现加速器感知的神经网络设计

采用硬件意识神经架构搜索，设计了一类适用于 Edge TPU 的计算机视觉模型，有效提升了实时图像分类性能并在像素 4 的边缘 TPU 上改善了精度 - 延迟权衡。

Mar, 2020

嵌入式汽车平台上卷积神经网络包的性能 / 功耗评估

最近的网络在嵌入式商用系统芯片上的有效性和效率进行了验证，为工程师选择最合适的卷积神经网络包和计算系统提供了指导。

Oct, 2023

SCoTTi：使用自适应框架在训练时节省计算

提出了 SCoTTi（Save Computation at Training Time）自适应框架，通过优化阈值参数来减少训练过程中的神经元更新次数，从而降低内存和计算资源使用量。在各种常用基准和流行架构（包括 ResNets，MobileNet 和 Swin-T）上，我们的方法在计算资源节约方面表现出优越的性能。

Dec, 2023