Nov, 2023

通过分组相关数据对象和计算实现低延迟机器学习推断

PDF
TL;DR我们提出了一种新颖的相关性分组机制，使开发人员能够表达特定应用程序的数据访问相关性，以实现对托管流推断任务的服务器集群中的数据对象的协调管理，从而取得显著更低且更一致的延迟，提高节点利用率，并且只需要对应用程序的编码进行少量修改。
ml inference workflowslow latencyhigh throughputcorrelation grouping mechanismdata access correlations
发现论文，激发创造
  • 拼贴推理：使用编码冗余模型在分布式图像分类期间实现低尾延迟

    提出了一种使用 Collage-CNN 模型结合 MLaaS 平台的低成本冗余框架来降低 Inference 的尾延迟，并降低推理延迟的变异性的方法。实验表明，相对于以复制为基础的方法，可以将推理的 99-percentile 尾延迟降低 1.47 倍，同时保持高准确性。

    Jun, 2019

  • 推理服务系统的高精度、成本效益和低延迟的调和

    提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

    Apr, 2023

  • InferLine: 面向严格延迟目标的 ML 预测流水线供应和管理

    本文提出了 InferLine 系统，该系统由低频组合规划器和高频自动化调试器组成，能够根据查询到达流程的变化自动调整各个阶段的自动缩放到达目标的阈值，从而实现最小化成本或实现服务水平目标，有效解决了跨多个模型和硬件加速器的 ML 预测流程的优化配置问题。

    Dec, 2018

  • 实时机器学习：遗失的部分

    针对机器学习在实时决策中的应用，提出需要一种新的分布式执行框架来实现毫秒延迟、高吞吐、任务图的自适应构建以及异构内核的执行等一系列要求，并提出了一个候选方案，其架构已经获得了 63 倍的性能提升。

    Mar, 2017

  • 数据流中的相关聚类

    本文研究动态数据流模型下相关聚类问题，结合线性草图和凸规划与抽样技术提出 O (n・polylog n)-space 近似算法，解决了自然问题。

    Dec, 2018

  • 端到端延迟预测的低复杂度方法

    该论文探讨了在软件定义网络中，设计低成本的本地算法来预测端到端的延迟，以满足特定应用程序的服务质量需求。研究提出了几种低复杂度的方法来预测延迟，并在公共数据集上比较了其预测和训练时间与准确性。

    Jan, 2023

  • 级联：一种适用于延迟敏感边缘智能的平台

    互动智能计算应用越来越普遍，需要优化以降低每个事件的延迟，同时保持高吞吐量和高效的资源管理。Cascade 是一个新的 AI/ML 托管平台，旨在解决这个难题。创新之处包括最小化数据拷贝的兼容传统系统的存储层和最大化响应性能的数据与计算合并的 “快速路径”。我们的评估显示，Cascade 可以将延迟降低数个数量级，同时不损失吞吐量。

    Nov, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 高效动态聚类：从历史聚类演变中捕获模式

    本文提出了一种动态聚类方法 DynamicC，它使用基于机器学习的模型，通过观察基于批处理算法的聚类决策来训练模型，在高速动态场景下进行快速准确的聚类决策。在四个真实世界数据集和一个人工合成数据集上的实验证明，DynamicC 方法相比基线批处理算法有更好的性能，同时达到了类似的准确聚类结果。

    Mar, 2022

  • 子图站点硬件 - 软件推断协同设计

    该研究论文提出了一种基于权重共享超网络机制的子图固定（SGS）优化方法，通过在动态环境下提供流式查询，实现了机器学习的更好的预测精度和更短的响应时间。

    Jun, 2023