深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

Jan, 2018

提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

Jun, 2018

本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

Oct, 2022

本文提出了一种新的硬件感知神经结构搜索框架，旨在优化目标平台上的任务精度、推理延迟和资源利用。通过使用该框架和新的资源利用模型，我们在 CIFAR-10 和 Imagenet-100 数据集上实现了 2.8-4 倍的 DNN 推理加速，并获得了与以往硬件感知神经结构搜索方法相似或更好的图像分类精度。

Mar, 2022

本文提出了一种新的协作智能友好型架构，通过将移动设备上计算的中间特征卸载到云端以降低需要发送到云端的数据量，使得在 ResNet-50 模型上，相比现有的云端计算方法，端到端延迟和移动能耗分别平均提高了 53 倍和 68 倍，而精度损失不到 2%。

Feb, 2019

本文提出应用硬件友好的结构化模型压缩和编译器优化技术以加速在移动设备上的深度神经网络执行，实验结果表明这些优化技术可以实现多个深度神经网络应用，如风格迁移、DNN 着色和超分辨率的实时移动执行。

Apr, 2020

本文总结了机器学习中的实际需求和挑战，重点介绍了深度神经网络的三种资源效率技术：量化神经网络，网络剪枝和结构效率，以及它们在诸如 CPU，GPU 和 FPGA 等嵌入式系统中的应用和实验结果。

Jan, 2020

本文介绍了如何利用手机上普遍存在的 GPU 加速器，在 Android 和 iOS 设备上实现深度神经网络的实时推断，并将其集成到开源项目 TensorFlow Lite 中。

Jul, 2019

本文介绍了一个名为 DynO 的分布式推理框架，它结合了云端卸载计算和设备端计算的最佳优势，采用新颖的 CNN 数据打包方法和调度器，在运行时联合调整分区点和传输数据精度来适应执行环境，并且评估结果表明，DynO 优于当前最先进的系统，在设备端执行时提高吞吐量超过一个数量级，在竞争的 CNN 卸载系统中提高了 7.9 倍，并且传输的数据量减少了高达 60 倍。

Apr, 2021