MMOct, 2020

通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

PDF
TL;DR该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。
mobile devicesdeep neural networkinferenceadaptive model partitioningaccuracy prediction
发现论文，激发创造
  • 失真图像的早期退出深度神经网络：提供高效的边缘卸载

    通过专家侧支分支在边缘检测图像扭曲类型并根据该类型选择正确的侧支分支来执行推理的方法提高了边缘推理的估计精度，改善了边缘卸载决策。

    Aug, 2021

  • 通过二步剪枝改进深度学习设备 - 边缘合作推理

    本文提出了一种高效、灵活的 DNN 分区方法，通过迭代删除不重要的卷积层过滤器进行剪枝，从而减少移动设备的无线传输负担或总计算负担，并能够自动选择满足各种延迟和准确性要求的修剪过的模型。实验表明，与未剪枝的原始 DNN 模型相比，该框架在传输负载上可实现多达 25.6 倍的降低，总计算速度加快了 6.01 倍，端到端延迟降低了 4.81 倍。

    Mar, 2019

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 云、边缘和终端设备上的深度神经网络分区调研

    本篇文章详细调研了针对云、边缘和端设备中的深度神经网络划分方法的最近进展和挑战，并提出了一个基于五维分类框架的统一数学模型，以及一组用于比较和评估这些方法的度量标准。

    Apr, 2023

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022

  • 面向协作边缘平台的自适应工作负载分配用于重视准确性的深度神经网络推理

    在本研究中，我们提出了一种自适应工作负载分配方法，联合考虑边缘设备的节点异构性以及应用特定的准确性和性能要求，通过组合优化异构感知的工作负载分割和动态准确配置 DNN 模型，以确保性能和准确度保证。我们在 Odroid XU4、Raspberry Pi4 和 Jetson Nano 板的边缘集群上进行了测试，并与最先进的工作负载分配策略相比，平均性能提升了 41.52%，输出准确度提升了 5.2%。

    Oct, 2023

  • 分裂计算和提前退出在深度学习应用中的应用：调研和研究挑战

    介绍了在移动设备中使用深度神经网络技术的优劣，提出了通过分割计算和提前结束计算的方法，将深度神经网络分别部署在移动设备和云 / 边缘服务器上，最终可减少带宽和能耗，同时提高精度并根据当前需求调节精度与延迟之间的平衡。

    Mar, 2021

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • JointDNN：智能移动云计算服务的高效训练和推理引擎

    本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

    Jan, 2018

  • AutoDiCE: 边缘全自动分布式 CNN 推理

    本文提出了名为 AutoDiCE 的框架，该框架可自动将卷积神经网络模型分割成多个子模型，并自动生成代码以在多个边缘设备上执行这些子模型，从而支持边缘计算中的分布式 CNN 推断。实验结果表明 AutoDiCE 能够以更少的能量和内存使用量实现分布式 CNN 推断，并提高整个系统的吞吐量。

    Jul, 2022