最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

Nov, 2023

本文提出了 InferLine 系统，该系统由低频组合规划器和高频自动化调试器组成，能够根据查询到达流程的变化自动调整各个阶段的自动缩放到达目标的阈值，从而实现最小化成本或实现服务水平目标，有效解决了跨多个模型和硬件加速器的 ML 预测流程的优化配置问题。

Dec, 2018

通过使用深度学习模型的不同版本来动态配置批处理大小、复制和模型变体，IPA 系统可以有效地优化准确性、降低成本并满足用户定义的延迟要求。实验结果显示，IPA 可以提高规范化准确性达到 35%，而成本只增加不到 5%。

Aug, 2023

本文介绍了 MLProxy，它是一种自适应反向代理，支持在无服务器计算系统上高效地处理机器学习服务工作负载。通过适应性批处理，MLProxy 可以确保满足 SLA 要求的同时优化无服务器成本，为服务器无部署降低了高达 92％的成本，同时将 SLA 违规降低了高达 99％。

Feb, 2022

深度学习模型推理延迟预测的新框架和新方法 MEDN 在综合实验中展现了较高的准确性和 R 方值。

Dec, 2023

研究了嵌入小型机器学习模型的资源受限边缘设备与托管大型机器学习模型的边缘服务器之间的 Hierarchical Inference 策略，提出了在线元学习框架，以预测小型模型的分类猜测正确性，并使用四个数据集对其性能进行了评估。

Apr, 2023

本文对大型语言模型（LLMs）的推理服务中能源效率的权衡进行了研究，通过探索延迟、吞吐量和能源之间的平衡，提供了优化能源使用的有价值见解，为数据中心环境中可持续且具有成本效益的 LLM 部署铺平了道路。

Mar, 2024

机器学习在分布式计算系统中被广泛应用于解释和预测行为，特别是在物联网设备产生大量数据时，通过边缘设备进行数据处理和机器学习训练。为了保证服务质量，系统通过机器学习进行监督和动态调整。然而，如果机器学习模型长时间不进行重新训练，它们可能无法准确捕捉到变量分布的渐变变化，导致对系统状态的错误预测。此外，随着预测准确度的降低，报告设备应主动解决不确定性以提高模型的精确性。脑神经科学中的主动推理（Active Inference）概念可以提供这种自主决策的能力，它描述了大脑如何不断预测和评估感觉信息以减少长期的惊奇感。我们在一个智能制造案例中实现了这些概念，通过一个单一的行动 - 感知循环实现了分布式智能体，展示了我们的主动推理代理能够在满足服务质量要求的同时快速和可追溯地解决优化问题。

Nov, 2023

本文提出一种称为模型切片的算法，通过将模型分割成多个组，使其能够在既定的计算资源预算内动态地提供预测结果，从而在有效地支持按需工作负载的基础上实现弹性推理成本。

Apr, 2019

这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

Nov, 2019