深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

本研究提出一种能够适应能源情况和准确性的实时任务调度框架，解决了嵌入式平台上运行深度神经网络的实时调度问题。通过研究和模拟能量获取模式，以及精确度和执行之间的权衡，提出基于非精确计算的调度算法，并在四个数据集和六个实际应用程序中进行了测试，与传统调度器相比，减少了执行时间最多 26％，并以高达 21％的推理准确率调度了 9％-34％的更多任务。

May, 2019

本文经验性地研究了适用于设备上的 TinyML 实现的嵌入式开发工具。研究评估了不同抽象级别的开发工具在资源受限的物联网设备上的使用情况，从基本的硬件操作到最小化的机器学习训练部署。分析包括模型训练和推理过程中的内存使用、能源消耗和性能指标以及不同解决方案的可用性。Arduino 框架提供了易于实现的方式，但相比原生选项增加了能源消耗，而 RIOT OS 表现出高效的能源消耗，尽管内存利用率较高，其使用方便性与 Arduino 框架相当。操作系统中没有直接集成某些关键功能，比如 DVFS，凸显了对精细硬件控制的限制。

Mar, 2024

本文介绍了一个新的深度神经网络量化和部署的框架，MicroAI，并研究了在低功耗 32 位微控制器上应用该框架的优化方法和效果。通过对三个不同数据集 (UCI-HAR、Spoken MNIST 和 GTSRB) 的评估，与两种已有的嵌入式推理引擎 (TensorFlow Lite for Microcontrollers 和 STM32CubeAI) 的比较和在 ARM Cortex-M4F 微控制器 (Ambiq Apollo3 和 STM32L452RE) 上的验证，证明了 MicroAI 具有更好的内存和功耗效率。

May, 2021

研究了在低计算能力和低内存设备上部署复杂的深度学习模型的优化方法以提高推断速度，证明了硬件特定的模型优化能够有效降低能源消耗和碳足迹。

Jun, 2024

该论文研究了在边缘人工智能应用中实现接近亚阈值处理器的能源节约，并提出了改进策略，同时保持了应用的准确性。通过采用一些新的神经网络策略，作者成功地实现了在能效比与准确性之间的平衡。

Apr, 2023

通过提出一个新的基于 DVFS 的边缘 - 云协同推理框架 DVFO 来共同优化边缘设备的 CPU、GPU 和内存频率以及特征映射的云服务器卸载，以改善不同 DNN 模型在不同边缘 - 云网络条件下的能源效率和推理延迟，并通过实验结果展示其比现有方案降低了 33% 的平均能耗和最高达 54% 的端到端推理延迟。

Jun, 2023

通过使用约束性贝叶斯优化，该研究论文研究在推理阶段配置与能耗之间的关系，提出了 PolyThrottle 解决方案，能够在满足应用约束条件的同时，对个别硬件组件进行优化配置，从而将能耗降低了 36%。

Oct, 2023

研究探讨了 GPU 动态电压频率调节对深度学习的影响，发现与默认核心频率相比，最优核心频率可以在不同的 DNN 训练情况下节省 8.7%~23.1% 能源消耗，推断时收益范围为 19.6%~26.4%。这一研究表明，GPU DVFS 有助于开发能源高效的 DNN 训练 / 推断方案。

May, 2019

使用深度神经网络的合成图像数据集，本文提出了一种基于强化学习的调度框架 RESPECT，该框架学习最优化算法的行为并生成几乎最优的调度结果，同时解决了边缘计算系统中资源受限计算图的调度优化问题。

Apr, 2023