Dec, 2018

JALAD: 边缘 - 云执行的联合精度和延迟感知深层结构解耦

PDF
TL;DR本文提出了一种名为 JALAD 的深度神经网络的执行框架，可以将其分离为云端和边缘设备各自运行，以最小限度地跨越它们之间的数据传输，包括基于标准化的内层数据压缩策略，基于延迟的深度分离策略和动态改变耦合的边缘 - 云结构适应策略。实验证明，我们的解决方案可以显着减少执行延迟并保证模型精度损失最小化。
deep neural networkjaladexecution frameworkdata centerlatency
发现论文，激发创造
  • 面向边缘端的协同多任务神经结构搜索优化稠密预测性能

    该论文提出了一种名为 EDNAS 的新型架构，通过多任务学习（MTL）和硬件感知神经架构搜索（NAS）的联合学习，成功地提高了边缘平台上稠密预测的准确性，并通过提出 JAReD 方法降低了输出噪声，并揭示了最佳架构。

    Oct, 2022

  • JointDNN：智能移动云计算服务的高效训练和推理引擎

    本文介绍了一种优化的深度神经网络引擎 JointDNN，它在移动设备和云之间实现了合作计算，有效降低了 DNN 查询的延迟和移动能源消耗。

    Jan, 2018

  • 协调深度神经网络：一种多功能的边缘卸载算法

    在本研究中，我们提出了一种名为 CoDE 的新算法，它能够协同处理深度神经网络模型，从而实现低延迟的边缘 AI 服务。通过利用自身和其他模型的参数，DNN 模型可以创建新的推理路径，从而降低本地计算负荷，同时只对精度产生最多 2% 的影响。在重负载条件下，CoDE 可以进一步减少推理时间 30%，而精度仅下降 4%。

    Jan, 2024

  • 边缘云多用户推理编排的在线学习

    我们提出了一种基于强化学习的计算卸载解决方案，它可以在考虑首选深度学习模型选择技术的情况下学习最佳卸载策略，以最小化响应时间同时提供足够的准确性，我们的解决方案在 AWS 和 ARM 核心配置的多个实现中提供 35％的加速，并且最少仅有 0.9％的准确性降低，展示了我们在线学习框架在边缘计算及联云系统中编配深度学习推理的潜力。

    Feb, 2022

  • 通过深度神经网络的自适应模型分割辅助校准边缘推断卸载

    该研究针对移动设备上的深度神经网络的推断，使用自适应模型划分的方法解决了通信延迟的问题，并对准确性进行了预测和校准，从而实现更可靠的推断决策。

    Oct, 2020

  • 面向高效图像识别的低延迟统一动态网络

    动态计算已成为提高深度网络推理效率的一种有前途的方法，我们提出了一个名为 “LAUDNet” 的框架，它集成了三个主要的动态范例，以缩短模型的延迟，通过算法设计与调度优化相结合，准确衡量动态操作延迟的潜在预测器指导。我们在多个视觉任务上测试了 LAUDNet，其在 V100、RTX3090 和 TX2 GPU 上能够显著降低 ResNet-101 等模型的延迟超过 50％，而且在准确性和效率之间取得良好的平衡。

    Aug, 2023

  • Serdab：一种物联网框架，用于将神经网络计算划分到多个飞地中

    Serdab 是一个分布式编排框架，用于在多个安全密封实例（例如 Intel SGX）上部署深度神经网络计算的 DNN 分区策略，可以跨多个安全密封设备或安全密封设备和其他硬件加速器分配神经网络的层，以解决保护用户数据隐私的挑战。

    May, 2020

  • A3D：边缘辅助飞行器的自适应、准确、自主导航

    利用深度神经网络改进自主无人机导航，提出 A3D 边缘服务器辅助的无人机导航框架，可动态调整任务执行位置、输入分辨率和图像压缩比，以实现低推理延迟、高预测准确性和长飞行距离。证实 A3D 相比非自适应方案可将端到端延迟减少 28.06％，飞行距离延长高达 27.28％。

    Jul, 2023

  • 边缘智能：设备 - 边缘协同，按需深度学习模型协同推理

    提出了 Edgent，这是一种协作和按需的 DNN 合作推理框架，其旨在通过在设备和边缘之间自适应地分配 DNN 计算来提高实时 DNN 推理的性能，并通过在适当的中间 DNN 层进行早期退出来加速 DNN 推理。

    Jun, 2018

  • 通过联合数据深化和预取实现高能效边缘学习

    通过使用物联网设备实时采集的数据对人工智能模型进行训练，我们提出了一种名为 JD2P 的新型数据卸载架构，其中包括数据加深和数据预取两个关键技术。通过实验证明，JD2P 相比其他基准模型能够显著降低预期能源消耗，并且不会降低学习准确性。

    Feb, 2024