Oct, 2022

分区策略对边缘分布式 CNN 推理能耗的影响

PDF
TL;DR本文研究和比较了在边缘部署大型 CNN 模型进行分布式推断时，利用四种划分策略对 CNN 模型推断造成的每个设备的能量消耗量，并旨在找出哪种划分策略（以及在什么条件下）可以在分布式系统中降低边缘设备的能耗。
发现论文，激发创造
  • 云、边缘和终端设备上的深度神经网络分区调研

    本篇文章详细调研了针对云、边缘和端设备中的深度神经网络划分方法的最近进展和挑战，并提出了一个基于五维分类框架的统一数学模型，以及一组用于比较和评估这些方法的度量标准。

    Apr, 2023

  • 具备特征空间编码的深度神经网络边缘 - 主机分区在资源受限的物联网平台上的应用

    本文介绍了在物联网环境中，将深度神经网络的推断任务在边缘和主机平台之间进行分区，并提出了通过特征空间编码来提高边缘平台的最大输入速率和 / 或降低边缘平台的能量消耗的方法。模拟结果表明，在卷积层的末端对 DNN 进行划分并配合特征空间编码能够显着提高能效和吞吐量。

    Feb, 2018

  • 分布式图神经网络训练的分区策略实验比较

    本文研究了图分区对分布式图神经网络训练的有效性，发现图分区是一个关键的预处理步骤，能够大大减少训练时间和内存占用，同时也证明了分区所需的时间可以通过减少图神经网络训练时间加以弥补。

    Aug, 2023

  • AutoDiCE: 边缘全自动分布式 CNN 推理

    本文提出了名为 AutoDiCE 的框架，该框架可自动将卷积神经网络模型分割成多个子模型，并自动生成代码以在多个边缘设备上执行这些子模型，从而支持边缘计算中的分布式 CNN 推断。实验结果表明 AutoDiCE 能够以更少的能量和内存使用量实现分布式 CNN 推断，并提高整个系统的吞吐量。

    Jul, 2022

  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • E2-Train: 基于 E2 方法训练最先进的 CNN 并节省 80% 以上的能量

    通过三种方法 (stochastic mini-batch dropping, selective layer update, sign prediction) 来减少训练过程中的计算并实现在资源受限的设备上进行训练，该方法能够在保持准确率损失相对较小 (不超过 2%) 的前提下，实现能耗降低超过 90%。

    Oct, 2019

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • NeuralPower: 预测和部署高效卷积神经网络

    本研究提出基于稀疏多项式回归的逐层预测框架 NeuralPower，以准确预测在任何 GPU 平台上部署的卷积神经网络的能耗和运行时间。同时，我们还提出了 “能耗 - 精度比”（EPR）指标，以帮助机器学习者选择更能平衡能耗和预测准确度的 CNN 架构。实验结果表明，该框架可以提高预测精度高达 68.5％，且可以在不同 GPU 平台和深度学习软件工具上得到验证。

    Oct, 2017

  • 使用能量感知剪枝设计高能效卷积神经网络

    本研究提出了一种新的基于能量消耗估计的卷积神经网络 (CNNs) 剪枝算法，该算法比以前的算法更加激进，并具有更高的准确性，AlexNet 和 GoogLeNet 的能量消耗分别降低了 3.7x 和 1.6x，用于降低卷积神经网络在移动设备上的能量消耗的新工具和模型都可在链接网站上找到。

    Nov, 2016