通过提出一个新的基于 DVFS 的边缘 - 云协同推理框架 DVFO 来共同优化边缘设备的 CPU、GPU 和内存频率以及特征映射的云服务器卸载，以改善不同 DNN 模型在不同边缘 - 云网络条件下的能源效率和推理延迟，并通过实验结果展示其比现有方案降低了 33% 的平均能耗和最高达 54% 的端到端推理延迟。

Jun, 2023

本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

Nov, 2017

本文提出了一种名为 Zeus 的优化框架，它可以自动找到适合于经常出现的深度神经网络训练任务的最佳作业和 GPU 级别配置，从而在考虑到能源消耗和性能优化之间的权衡时，可以提高 DNN 训练的能源效率达到 15.3% 至 75.8%。

Aug, 2022

本文通过使用深度卷积神经网络的实证研究，研究了深度学习模型的体系结构与其环境影响之间的关系，重点关注能源消耗和二氧化碳排放等方面的交易，并探讨了精度和能源效率之间的权衡，以及使用软件和硬件工具测量能量消耗的差异。

Feb, 2023

在边缘设备中部署深度神经网络时，我们提出了一种全新的剪枝框架，名为 All-in-One，以应对动态功率管理带来的不稳定的推理速度性能，通过重新配置具有各种修剪比例的模型，以适应特定的执行频率和电压，使推理速度保持尽可能稳定。

Dec, 2022

在本研究中，我们专注于为小型设备开发高效的功耗管理方法，通过使用基于强化学习和时间编码的技术从三种具有挑战性的工作负载 / 系统模式中导出一个有效的 DVFS 调度器，该调度器仅使用一个性能计数器并能适应性能需求，在能源节约方面优于内置的 Linux 方法。

Sep, 2023

本研究通过测量、预测和评分等三个方面的研究，揭示了边缘设备中深度学习的能量消耗特征，并设计了基于内核级能量数据集的边缘设备上的内核级能量预测器，最后引入了两个评分指标，旨在将复杂的边缘设备功耗和能量消耗数据转化为易于理解的形式，以推动边缘计算中的可持续发展思维。

Oct, 2023

本文提出了一种在 Intel CPU 上优化深度学习模型训练的方法和工具集 ProfileDNN 以及一个任务优化方法，旨在解决在选择适当硬件时成本和效率之间的权衡问题，并通过几个案例研究探讨了如何使用 ProfileDNN 和 Intel PyTorch 扩展来优化模型训练。

Jun, 2022

深度神经网络在移动和嵌入式平台上执行推理具有延迟、隐私和始终可用性等多个关键优势。然而，由于计算资源有限，有效地在移动和嵌入式平台上部署深度神经网络具有挑战性。本论文提出了一种结合了算法和硬件的运行时性能权衡管理方法，通过动态超网络实现了实时满足变化的应用性能目标和硬件约束。在实验中，我们的模型在 Jetson Xavier NX 的 GPU 上使用 ImageNet 数据集相对于最先进的方法，在相似的 ImageNet Top-1 准确率下速度提高了 2.4 倍，或在相似的延迟下准确率提高了 5.1%。同时，我们设计了一个分级运行时资源管理器，在单模型部署场景中达到了 19% 的能量降低和 9% 的延迟降低，在两个并发模型部署场景中能量降低了 89%，延迟降低了 23%。

Jan, 2024

本文系统地讨论了提高深度神经网络训练效率的方法，重点考虑了内存利用率和 GPU 训练，分类总结了相关策略，并且比较了不同类别之间的方法。

Feb, 2022