ICMLJun, 2019

拼贴推理：使用编码冗余模型在分布式图像分类期间实现低尾延迟

PDF
TL;DR提出了一种使用 Collage-CNN 模型结合 MLaaS 平台的低成本冗余框架来降低 Inference 的尾延迟，并降低推理延迟的变异性的方法。实验表明，相对于以复制为基础的方法，可以将推理的 99-percentile 尾延迟降低 1.47 倍，同时保持高准确性。
machine learninginferencelatency variancemlaas platformscollage-cnn
发现论文，激发创造
  • 协同无人机和卷积网络实现高效实时图像识别

    在本文中，我们提出了一种旨在将推理请求分配到资源受限的 UAV 群体的策略，该策略可在无人机上对捕获的图像进行分类，并找到最小的决策延迟，其模型被制定为一个最小化获取图像与做出最终决策之间延迟的优化问题，我们提出了一种名为 DistInference 的在线启发式解决方案，以找到最佳延迟的分层策略，可以用于不同的低决策延迟应用程序以及所有 CNN 类型。

    Jul, 2021

  • 资源受限无人机群的低延迟、高可靠卷积神经网络分布式推理

    该研究提出了一种将实时请求划分为子任务，并基于可用资源在无人机群中分配的系统模型，以最小化传输延迟和提高可靠性。研究使用三个子问题来优化传输功率、无人机位置和 CNN 层数的放置，并通过模拟结果表明，该模型表现出比竞争模型更好的性能。

    May, 2023

  • 面向可适应优化算法的灵活准确性导向深度学习模块推断延迟预测框架

    深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

    Dec, 2023

  • 基于边缘计算无缝协作的分布式深度学习推理加速

    本文研究了使用分布式卷积神经网络（CNN）在协作边缘计算中进行推理加速。我们考虑了分段分区时的感受野，以确保推理准确度。为了最大化通信和计算进程之间的并行性，从而最小化推理任务的总时间，我们设计了一种新颖的任务协作方案，称为 HALP。实验证明，HALP 可以使 VGG-16 中 CNN 推理的速度提高 1.7-2.0 倍，对于 4 个任务每批次的速度提高 1.7-1.8 倍，这优于最先进的 MoDNN 方案。此外，我们评估了时变信道下的服务可靠性，表明 HALP 是确保高服务可靠性的有效解决方案。

    Jul, 2022

  • 移动云协同智能推理

    在移动设备上，利用深度学习模型进行 AI 应用程序时，采用共享的移动 - 云推理方法可以降低推理的延迟、能源消耗和网络带宽使用，同时提供隐私保护措施。

    Jun, 2023

  • 通过分组相关数据对象和计算实现低延迟机器学习推断

    我们提出了一种新颖的相关性分组机制，使开发人员能够表达特定应用程序的数据访问相关性，以实现对托管流推断任务的服务器集群中的数据对象的协调管理，从而取得显著更低且更一致的延迟，提高节点利用率，并且只需要对应用程序的编码进行少量修改。

    Nov, 2023

  • 高效云边协同推断之物体重新识别

    通过云 - 边缘协作处理范例，我们提出了一种分布感知的相关建模网络（DaCM），用于重新识别系统，将希望的图像尽快返回云服务器，通过学习建模实例之间的时空关联性。我们的方法明显减少传输开销并显著提高性能。

    Jan, 2024

  • 云系统延迟降低的高效冗余技术

    在云计算系统中，确定冗余策略的适用条件和实现方式是降低时延和成本的关键。通过对任务服务时间分布的对数凹凸性进行研究，该文设计出一种通用的冗余策略，在最大化降低时延和最小化成本之间达到了很好的平衡。

    Aug, 2015

  • Parity Models: 机器学习推理中编码鲁棒性的通用框架

    提出了一种新颖的泛化框架 ParM，通过擦除编码和机器学习的思想，将多个查询输入表示为一个奇偶校验查询，使用奇偶模型推导结果，降低了预测系统遇到减速和故障时的尾部延迟和性能下降。

    May, 2019

  • 具有模型压缩的异构边缘设备上具有容错性的分布式推理

    RoCoIn 是一种用于异构边缘设备上本地分布式执行深度神经网络推断任务的稳健合作推断机制，通过知识蒸馏从大型模型中学习独立而紧凑的学生模型，并以冗余方式部署和执行相同的学生模型以提高推断过程的容错性和系统响应速度。与几种基线方法相比，广泛的模拟验证了我们的 RoCoIn 在分布式推断中的卓越性能，并证明了其在及时推断和容错能力方面的有效性。

    Jun, 2024