Apr, 2023

网络边缘分层深度学习推断的案例

PDF
TL;DR本文介绍了一种新的分层推理方法（hierarchical inference），旨在解决资源受限的边缘设备上深度学习推理的精度和开销问题，同时探讨了该方法在机器故障检测和图像分类应用中的可行性和优势。
发现论文，激发创造
  • 深度学习应用中的分层推理在线算法

    研究了嵌入小型机器学习模型的资源受限边缘设备与托管大型机器学习模型的边缘服务器之间的 Hierarchical Inference 策略，提出了在线元学习框架，以预测小型模型的分类猜测正确性，并使用四个数据集对其性能进行了评估。

    Apr, 2023

  • 边缘设备上实现深度学习

    本论文探讨了 DNN 在资源受限的边缘设备上部署的优化问题，并研究了四种边缘智能场景下的深度学习方法，通过减少 DNN 冗余度来达到资源消耗与模型准确度之间的平衡。

    Oct, 2022

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 边缘计算与深度学习的融合：一项全面调查

    该论文介绍了边缘智能和智能边缘的应用场景，实现方法和相互融合的挑战和未来趋势。通过整合通信，网络和深度学习领域的信息，促进了边缘智能和智能边缘的融合。

    Jul, 2019

  • 基于能源感知的早期退出实现可持续的边缘智能

    提出了一种基于动态早停止和能量感知策略的边缘智能系统，用于解决深度学习模型在能源受限设备上的能耗问题，实现高效、精准的推理，与传统的能量不感知策略相比，精度和服务率分别提高了至多 25% 和 35%。

    May, 2023

  • 边缘人工智能：通过边缘计算加速深度神经网络推理

    该论文提出了一种基于边缘计算的 DNN 协同推理框架 Edgent，通过 DNN 分区和权衡设备的云资源和临近边缘资源来协调实时的 DNN 推理，进而降低计算延迟，实现低延迟边缘智能处理。

    Oct, 2019

  • 云、边缘和终端设备上的分布式深度神经网络

    分布式深度神经网络 (DDNN) 可以在云端、边缘设备和终端中适应深度神经网络的推断，由于其分布式特性，DDNN 增强了 DNN 应用程序的传感器融合、系统容错和数据隐私，通过将 DNN 映射到分布式计算层次结构中的不同组成部分并联合训练这些部分，我们最小化设备通信和资源使用并最大化提取特征的实用性。实验结果表明，DDNN 可以利用传感器的地理多样性来提高物体识别精度并减少通信成本。

    Sep, 2017

  • 弹性异构计算资源下的大规模知识蒸馏

    本文提出了一种基于弹性计算资源的深度学习压缩方法，即 EDL-Dist，可用于从大型深度模型创建紧凑的学生模型，支持训练和推理过程的容错性，并且其吞吐量比在线知识蒸馏基准方法提高了 3.125 倍，而精度相当或更高。

    Jul, 2022

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020