Jan, 2022

基于软 Actor-Critic 的自适应设备 - 边缘联合推理框架

PDF
TL;DR提出了一种基于 Deep Neural Network（DNN）模型的 IoT 设备与边缘协同计算框架，通过多分支结构、智能早停、硬件中间分割与整数量化等技术实现了优秀的通信负载和执行精度平衡，结合基于 Soft Actor Critic（SAC-d）的深度强化学习优化算法实现了动态无线通道和任意 CPU 处理下的适应性支持，并在树莓派 4 和 PC 上进行了实验。
deep neural networkinternet of thingscollaborative computationsoft actor criticmulti-branch structure
发现论文，激发创造
  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 工业物联网中基于深度强化学习的协作 DNN 推断保证准确性

    本文研究了工业物联网网络中协作深度神经网络推理问题，提出了一种基于深度强化学习的算法，将动态配置物联网设备的采样率、推理任务卸载和边缘计算资源分配共同考虑，通过转化为马尔可夫决策过程来最小化服务延迟并保证准确性。

    Dec, 2022

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019

  • 动态提前退出预测编码神经网络

    借鉴人脑的高效率和低功耗，本文提出了一种基于预测编码理论和动态提前终止的浅双向网络，以加入硬件有限资源在设计过程中，实现在 CIFAR-10 图像分类上与 VGG-16 相当准确率的结果，使用更少的参数和较低的计算复杂度。

    Sep, 2023

  • 资源受限边缘推理中的通信计算权衡

    本文提出了一种有效的边缘计算推理方法，并探讨了在设备模型的计算成本和中间特征的通信成本之间进行的关键权衡。通过模型拆分点选择、通信感知模型压缩和任务导向的中间特征编码，提出了一个三步框架来有效地进行推理，实验结果表明，与基准方法相比，我们的提出的框架具有更好的权衡，可以显著减少推理延迟。

    Jun, 2020

  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 面向低功耗计算机视觉的即时深度神经网络优化控制

    移动设备上处理视觉数据具有多种应用，但现有的计算机视觉技术通常过于耗电无法部署在资源受限的边缘设备上。本文提出一种新技术，通过引入超参数来动态调整深度神经网络的精确度和能源消耗，无需重新训练即可适应不同边缘应用的硬件约束与精确度要求。该技术称为 AdaptiveActivation，实验证明其在流行的边缘设备上可以达到基准的误差范围内，并且比基准技术所需内存减少了 10% 到 38%，从而提供更多的精确度与效率权衡选项。

    Sep, 2023

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022