深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

本文提出了 SPINN 系统，利用分布式计算和渐进推理方法共同实现设备云协同计算，并引入了一种新的调度程序，通过合理设置早期退出策略和 CNN 分割，以适应动态条件和满足用户定义的服务水平要求，以达到快速和强大的 CNN 推理。定量评估表明，在不同网络条件下，SPINN 的吞吐量高达其最先进的协作推理对手的 2 倍，将服务器成本降低了多达 6.8 倍，并在延迟限制下提高精度 20.7％，同时在不确定的连接条件下提供稳健操作和与云为中心的执行相比显著的节能。

Aug, 2020

本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

Jan, 2018

提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

Jun, 2018

分布推理是边缘上高效 DNN 推理的一种流行方法。本文引入了专为分布推理设计的流体动态 DNNs（Fluid DyDNNs），通过使用新颖的嵌套增量训练算法来提高其子网络的独立和组合操作能力，从而增强系统的可靠性和适应性。在嵌入式 Arm CPU 上评估了一个 DNN 模型和 MNIST 数据集，在单设备故障的情况下，Fluid DyDNNs 确保推理的持续性，而 Static DNNs 和 Dynamic DNNs 则失败。当设备全部正常运行时，Fluid DyDNNs 可以在高精度模式下达到与 Static DNNs 相当的准确性，或者在高吞吐量模式下分别比 Static 和 Dynamic DNNs 提高 2.5 倍和 2 倍的吞吐量。

Jan, 2024

分布式深度神经网络 (DDNN) 可以在云端、边缘设备和终端中适应深度神经网络的推断，由于其分布式特性，DDNN 增强了 DNN 应用程序的传感器融合、系统容错和数据隐私，通过将 DNN 映射到分布式计算层次结构中的不同组成部分并联合训练这些部分，我们最小化设备通信和资源使用并最大化提取特征的实用性。实验结果表明，DDNN 可以利用传感器的地理多样性来提高物体识别精度并减少通信成本。

Sep, 2017

DynaComm 是一种新颖的调度程序，用于加速网络边缘处分布式卷积神经网络（CNN）的训练，通过动态将每个传输过程分解成几个片段，以实现运行时最佳层间通信和计算重叠，从而实现了所有情况下的最优层级调度，而模型准确性保持不变。

Jan, 2021

该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

Oct, 2020

提出一种双重动态推理框架，采用多粒度学习以及资源依赖的动态推理机制，优化计算资源和预测精度之间的权衡，有效降低计算资源消耗，通过实验验证其优越性。

Jul, 2019

本文研究了如何提高卷积神经网络的效率，提出了一种基于动态卷积方法的新型卷积操作，在多种 CNN 结构上进行了测试，并表明该方法可以在减少计算开销的同时保持性能，从而达到了更高的效率。

Apr, 2020