Jan, 2024

协调深度神经网络：一种多功能的边缘卸载算法

PDF
TL;DR在本研究中，我们提出了一种名为 CoDE 的新算法，它能够协同处理深度神经网络模型，从而实现低延迟的边缘 AI 服务。通过利用自身和其他模型的参数，DNN 模型可以创建新的推理路径，从而降低本地计算负荷，同时只对精度产生最多 2% 的影响。在重负载条件下，CoDE 可以进一步减少推理时间 30%，而精度仅下降 4%。
artificial intelligencedeep neural networkdnn modelscoordinated dnns on edgecomputing resources
发现论文，激发创造
  • CoEdge: 基於異構邊緣設備的自適應工作負載分配合作式 DNN 推論

    本研究提出一种名为 CoEdge 的分布式深度神经网络计算系统，优化了边缘设备的计算和通信资源，在许多共同参与的异构边缘设备上进行协同深度神经网络计算，与现有方法相比，CoEdge 在降低能耗方面更具优势。

    Dec, 2020

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 设备边缘协同推理系统上的图神经网络自动设计和部署

    GCoDE 是第一个自动化的图神经网络（GNN）框架，它在设备边缘层次结构上创新地共同设计了架构搜索和每个操作的映射，通过性能意识的方法实现了在多样化的异构系统中的架构效率的有效评估，实验结果表明，与现有方法相比，在各种应用和系统配置中，GCoDE 可以实现高达 44.9 倍的加速和 98.2% 的能量节约。

    Apr, 2024

  • 通过二步剪枝改进深度学习设备 - 边缘合作推理

    本文提出了一种高效、灵活的 DNN 分区方法，通过迭代删除不重要的卷积层过滤器进行剪枝，从而减少移动设备的无线传输负担或总计算负担，并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明，与未剪枝的原始 DNN 模型相比，该框架在传输负载上可实现多达 25.6 倍的降低，总计算速度加快了 6.01 倍，端到端延迟降低了 4.81 倍。

    Mar, 2019

  • 在边缘服务器上调度深度神经网络

    本文研究了如何加速深度神经网络在边缘服务器上处理多个客户端的任务，通过批处理的方式和优化调度算法，使用不同的目标函数把多个请求合并，最终提高了处理效率和性能。

    Apr, 2023

  • 失真图像的早期退出深度神经网络：提供高效的边缘卸载

    通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

    Aug, 2021

  • 基于软 Actor-Critic 的自适应设备 - 边缘联合推理框架

    提出了一种基于 Deep Neural Network（DNN）模型的 IoT 设备与边缘协同计算框架，通过多分支结构、智能早停、硬件中间分割与整数量化等技术实现了优秀的通信负载和执行精度平衡，结合基于 Soft Actor Critic（SAC-d）的深度强化学习优化算法实现了动态无线通道和任意 CPU 处理下的适应性支持，并在树莓派 4 和 PC 上进行了实验。

    Jan, 2022

  • 基于无人机互联网的深度学习目标跟踪边缘计算卸载优化

    利用卷积神经网络的视觉跟踪能力配合移动边缘计算，提出了一种新的层次分布式计算框架，将有限的计算资源和能量预算分配到无人机和移动边缘服务器上，以达到更高的推断精度和更低的计算成本。

    Aug, 2020

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019