本文介绍了利用 KFServing 这一构建在 KNative 无服务器框架之上的服务器化机器学习推理解决方案，在保持简洁一致的界面的同时缓解了基础设施成本与 GPU 推理的自动扩容挑战。

Jul, 2020

FastServe 是一种分布式推理服务系统，利用预 emption 技术在输出单词级别上最小化了 Large language models 的 inference 时间，并采用 GPU 内存管理机制，与现有解决方案相比可将平均和 tail JCT 分别提高了 5.1 倍和 6.4 倍。

May, 2023

最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

Nov, 2023

利用优化的无服务器工作流程，在 FaaS 环境下实现基于知识蒸馏的异构客户端模型的联邦学习（FL）系统，实验证明无服务器 FedDF 比无服务器 FedMD 更快、成本更低且对极端非独立同分布数据分布更加鲁棒。

Feb, 2024

在移动设备上，利用深度学习模型进行 AI 应用程序时，采用共享的移动 - 云推理方法可以降低推理的延迟、能源消耗和网络带宽使用，同时提供隐私保护措施。

Jun, 2023

本文介绍了 ServerlessLLM，一种用于大型语言模型的增强本地化服务器推理系统。ServerlessLLM 通过三个主要贡献实现了高效的检查点加载和推理：(i) 通过新颖的加载优化检查点格式设计和高效的多层检查点加载系统实现快速检查点加载；(ii) 基于本地化的推理和实时迁移，以在保持正在进行的推理的低延迟的同时有效实现本地化的服务器分配；以及 (iii) 考虑本地化的服务器分配，使 ServerlessLLM 能够评估集群中每个服务器的状态，并有效地调度模型的启动时间以发挥本地检查点放置的优势。我们进行的广泛实验，包括微基准测试和真实世界的追踪，表明当运行不同的语言模型推理工作负载时，ServerlessLLM 的延迟性能超过了现有技术系统 10-200 倍。

Jan, 2024

Apodotiko 是一种为无服务器联邦学习设计的新型异步训练策略，通过评估每个客户端的硬件能力和数据集大小，智能地优先选择客户端，并最小化系统性能受到策略影响的慢速客户端，实验结果表明，Apodotiko 优于其他 FL 训练策略，平均加速比达到 2.75 倍，最大加速比达到 7.03 倍，同时有效减少冷启动。

Apr, 2024

使用多种计算资源，如高度并行的超级计算机和专用加速器，部署基于 AI 的模拟工作流非常有利，其中，云托管管理服务的使用可以简化跨资源身份验证和授权，功能即服务（FaaS）函数调用和数据传输等方面的管理，我们的研究表明使用云托管管理服务可以实现与直接连接资源使用情况相当的性能优化。

Mar, 2023

Faaslets 是一种高性能服务器计算的隔离抽象，它使用 WebAssembly 提供的软件故障隔离来隔离已执行函数的内存，同时允许在相同的地址空间中共享内存区域，从而避免产生昂贵的数据移动。与标准容器平台的比较表明，Faasm 能够在训练机器学习模型时实现 2 倍的加速和 10 倍的内存减少，在提供机器学习推理方面，Faasm 将吞吐量提高了一倍，并将尾延迟降低了 90%。

Feb, 2020

通过将无服务器计算与点对点网络相结合，提出了一种在资源限制下实现高效并行梯度计算的新型架构，相比传统的点对点分布式训练方法，在梯度计算时间上取得了显著提升，同时也引入了更高的成本。

Sep, 2023