最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

Nov, 2023

本研究提出了考虑调度和分批的 LazyBatching 技术，采用独立的图节点粒度实现了对动态推理请求的优化，并比 Graph batching 在平均响应时间、吞吐量和 SLA 满足度方面实现了 15 倍、1.5 倍和 5.5 倍的提高。

Oct, 2020

提出 InfAdapter 系统，使用机器学习变体及其资源分配来满足延迟服务级别目标（SLO），同时最大化由准确性和成本组成的目标函数，从而降低 SLO 违规和成本高达 65％和 33％。

Apr, 2023

本文介绍了利用 KFServing 这一构建在 KNative 无服务器框架之上的服务器化机器学习推理解决方案，在保持简洁一致的界面的同时缓解了基础设施成本与 GPU 推理的自动扩容挑战。

Jul, 2020

提供一种基于云端虚拟机的网络服务架构，与高性能计算系统相结合，通过 Slurm 集群实现运行大规模语言模型，提供一种安全、私密的可替代商业大规模语言模型服务的解决方案。

Jun, 2024

本文介绍了 ServerlessLLM，一种用于大型语言模型的增强本地化服务器推理系统。ServerlessLLM 通过三个主要贡献实现了高效的检查点加载和推理：(i) 通过新颖的加载优化检查点格式设计和高效的多层检查点加载系统实现快速检查点加载；(ii) 基于本地化的推理和实时迁移，以在保持正在进行的推理的低延迟的同时有效实现本地化的服务器分配；以及 (iii) 考虑本地化的服务器分配，使 ServerlessLLM 能够评估集群中每个服务器的状态，并有效地调度模型的启动时间以发挥本地检查点放置的优势。我们进行的广泛实验，包括微基准测试和真实世界的追踪，表明当运行不同的语言模型推理工作负载时，ServerlessLLM 的延迟性能超过了现有技术系统 10-200 倍。

Jan, 2024

FSD-Inference 是第一个完全无服务器且高度可扩展的分布式机器学习推断系统，通过与 FaaS 计算相结合，探索了潜在的通信渠道，为无服务器数据密集型计算中的分布式机器学习设计了一种先进的解决方案。

Mar, 2024

提出了一种基于学习的 BCEdge 调度框架，其对边缘平台上多个深度神经网络模型进行自适应分批和并发执行，从而实现高吞吐量和低延迟。通过最大熵深度强化学习优化批大小和并发模型数量，不仅提高了系统利用率，还较完美地满足了质量服务要求 (SLO)。

May, 2023

通过在权重共享的 SuperNetworks 中插入专门的操作符，SubNetAct 机制动态地将请求导向网络以满足延迟和准确性目标，从而同时提供覆盖延迟 - 准确性权衡空间的全范围模型服务。SuperServe 系统在 Microsoft Azure Functions 的真实工作负载和大范围的极度突发性合成负载中表现出最佳的平衡效果。

Dec, 2023

本文介绍了 Clipper，一个用于部署机器学习模型的通用低延迟预测服务系统，通过引入缓存、批处理和自适应模型选择技术，Clipper 提高了在线服务应用的预测时延、准确性和吞吐量，并可支持模型组合和在线学习来提高准确性和鲁棒性。与 TensorFlow Serving 系统相比，我们能够实现可比的吞吐量和延迟。

Dec, 2016