Nov, 2023

Packrat: 基于 CPU 的 DNN 服务的自动重新配置以降低延迟

PDF
TL;DR通过在 CPU 服务器上使用深度神经网络模型，本文提出了一个新的在线推理系统 Packrat，通过调整模型实例数、线程数和批次大小来最小化推理延迟。实验结果表明，在一系列批次大小中，Packrat 在常用的深度神经网络中将推理延迟提高了 1.43 倍至 1.83 倍。
deep neural networkcpu-based serversinference latencyserving systembatch sizes
发现论文，激发创造
  • Apparate: 重新思考早期退出以控制 ML 服务中的延迟与吞吐量矛盾

    通过在机器学习推理模型中应用和管理早期退出技术，Apparate 系统实现了运行时监测和适应策略，以降低响应延迟，不影响吞吐量或准确性。

    Dec, 2023

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 具备实际性能保证的深度神经网络推断的线程并行

    通过将模型图分成 k 个阶段并减少瓶颈阶段的运行时间，我们通过最小化通信成本来优化深度神经网络（DNN）推理的流水线并行性。我们设计了针对这个 NP 困难问题的实际算法，并通过与通过新颖的混合整数规划（MIP）公式获得的强下界进行比较，证明它们在实践中几乎是最优的。我们将这些算法和下界方法应用于生产模型，从而在与标准组合下界相比，获得了显著改进的近似保证。这项工作表明，尽管最大吞吐量划分在理论上很困难，但我们在实践中对该问题的算法方面有所掌握，剩下的挑战主要在于开发更准确的成本模型以提供给划分算法。

    Nov, 2023

  • 分布式深度学习中模型准确性与运行时间的权衡：一个系统性研究

    本文提出了 Rudra—— 一种参数服务器为基础的分布式计算框架，通过异步随机梯度下降算法的变体，研究了同步协议、过期的梯度更新、小批量大小、学习速率和学习者数量对运行时性能和模型精度的影响，并提出了一种新的学习率调制策略和同步协议，这可以有效地限制梯度在过期期间的误差，提高运行时性能并实现良好的模型精度。此外，我们揭示了一种分布式神经网络的原则：随着系统中增加了更多的学习者，每位学习者的最小批量大小应相应减小以保持模型精度，并使用常用的图像分类基准数据集 CIFAR10 和 ImageNet 进行验证。

    Sep, 2015

  • InferLine: 面向严格延迟目标的 ML 预测流水线供应和管理

    本文提出了 InferLine 系统，该系统由低频组合规划器和高频自动化调试器组成，能够根据查询到达流程的变化自动调整各个阶段的自动缩放到达目标的阈值，从而实现最小化成本或实现服务水平目标，有效解决了跨多个模型和硬件加速器的 ML 预测流程的优化配置问题。

    Dec, 2018

  • 大语言模型快速分布式推理服务

    FastServe 是一种分布式推理服务系统，利用预 emption 技术在输出单词级别上最小化了 Large language models 的 inference 时间，并采用 GPU 内存管理机制，与现有解决方案相比可将平均和 tail JCT 分别提高了 5.1 倍和 6.4 倍。

    May, 2023

  • 使用 IntelCaffe 进行高效 8 位低精度卷积神经网络推断

    本文介绍了 IntelCaffe 的高效推断技术以及用于深度学习模型优化的技术，它是第一个支持 8 位低精度推断的 Intel 优化深度学习框架，能够在 Intel Xeon Scalable 处理器上加速卷积神经网络的模型优化过程。该模型的 8 位优化模型可通过一次标定过程从 FP32 模型自动生成，无需进行微调或重新训练，其在 ResNet-50、Inception-v3 和 SSD 上的推断吞吐量和延迟分别提高了 1.38X-2.9X 和 1.35X-3X，精度损失可忽略不计，与 IntelCaffe FP32 基线相比，这些技术还使得吞吐量和延迟分别提高了 56X-75X 和 26X-37X。这些技术已在 IntelCaffe GitHub 进行了开源，并提供了 Amazon AWS Cloud 上重现结果的文物。

    May, 2018

  • SuperServe：面向不可预知工作负载的细粒度推断服务

    通过在权重共享的 SuperNetworks 中插入专门的操作符，SubNetAct 机制动态地将请求导向网络以满足延迟和准确性目标，从而同时提供覆盖延迟 - 准确性权衡空间的全范围模型服务。SuperServe 系统在 Microsoft Azure Functions 的真实工作负载和大范围的极度突发性合成负载中表现出最佳的平衡效果。

    Dec, 2023

  • PARIS 和 ELSA：一种用于可重构多 GPU 推理服务器的弹性调度算法

    本研究探讨了 NVIDIA 最新发布的 Ampere GPU 体系结构在云机器学习推理系统中的应用，并提出了一种适用于异构 GPU 服务器部署的复杂划分算法和弹性调度算法，实现低延迟和高 GPU 利用率的平衡。

    Feb, 2022

  • Pipette: 大规模自动细粒度语言模型训练配置器用于真实世界集群

    Pipette 是一个针对现实世界集群的自动细粒度 LLM 训练配置器，通过设计更好的性能模型、内存估计器和细粒度的个别 GPU 分配，Pipette 在满足内存约束条件下实现更快的配置，并且相比现有技术提供了显著的加速。

    May, 2024