Dec, 2023

SuperServe：面向不可预知工作负载的细粒度推断服务

PDF
TL;DR通过在权重共享的 SuperNetworks 中插入专门的操作符，SubNetAct 机制动态地将请求导向网络以满足延迟和准确性目标，从而同时提供覆盖延迟 - 准确性权衡空间的全范围模型服务。SuperServe 系统在 Microsoft Azure Functions 的真实工作负载和大范围的极度突发性合成负载中表现出最佳的平衡效果。
ml modelsml inference serving systemslatency-accuracy tradeoffsubnetactsuperserve
发现论文，激发创造
  • 子图站点硬件 - 软件推断协同设计

    该研究论文提出了一种基于权重共享超网络机制的子图固定（SGS）优化方法，通过在动态环境下提供流式查询，实现了机器学习的更好的预测精度和更短的响应时间。

    Jun, 2023

  • ServeFlow: 用于网络流量分析的快慢模型架构

    该论文介绍了 ServeFlow，一个针对网络流量分析任务的机器学习模型服务解决方案，它通过仔细选择收集数据包的数量和应用于各个流量的模型，实现最小延迟、高服务速率和高准确性之间的平衡。

    Feb, 2024

  • 大语言模型快速分布式推理服务

    FastServe 是一种分布式推理服务系统，利用预 emption 技术在输出单词级别上最小化了 Large language models 的 inference 时间，并采用 GPU 内存管理机制，与现有解决方案相比可将平均和 tail JCT 分别提高了 5.1 倍和 6.4 倍。

    May, 2023

  • CascadeServe: 解锁模型级联进行推理服务

    CascadeServe 通过使用模型级联进行端到端的推理服务自动化和优化，在不同工作负载上与现有技术进行比较时，在延迟 - 准确性空间的广泛范围内可以节约 2-3 倍的成本。

    Jun, 2024

  • 推理服务系统的高精度、成本效益和低延迟的调和

    提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

    Apr, 2023

  • 支持弹性推理的复杂分析的模型切片 成本和资源限制

    本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。

    Apr, 2019

  • 无服务器机器学习模型推理调查

    最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

    Nov, 2023

  • TensorFlow-Serving：灵活、高性能的机器学习服务

    TensorFlow-Serving 是一个可用于 Google 内部和云端的机器学习模型服务系统，支持多种 ML 平台，优化模型查找和推理性能，用于多租户模型托管服务 TFS^2 等生产环境。

    Dec, 2017

  • APIServe：大型语言模型推理的高效 API 支持

    APIServe 是第一个针对 API 增强型 LLM 的推理框架，可以减少由 API 调用引起的 GPU 资源浪费，提高整体服务吞吐量 1.6 倍，并比现有的 LLM 推理系统每秒完成 2 倍更多的请求。

    Feb, 2024

  • SpotServe: 在可中途终止的实例上为生成式大型语言模型提供服务

    通过使用可中止的 GPU 实例来降低大型语言生成模型的运行成本，本文提出了 SpotServe，一个在可中止实例上实现快速、可靠且经济高效地提供生成型语言模型服务的分布式系统。它采用动态自适应并行化配置、最小化实例迁移成本的迁移规划算法，并引入了基于状态的推断恢复机制，从而大幅降低 P99 尾延迟，并节省 54％的运行成本。

    Nov, 2023