Dec, 2023

生产无服务器工作负载的长期趋势特征

PDF
TL;DR对华为云无服务器服务的行为进行了分析，发现函数的请求和执行方式存在巨大差异，资源消耗和时间分布也存在多样性，需要进一步研究资源预留和时序预测。
serverlesstracesfunction invocationsresource consumptionperiodicity
发现论文，激发创造
  • 大规模云服务提供商中无服务器应用的特性与优化

    本研究以 Azure Functions 的 FaaS 工作负载为例，深入分析了其执行特征，并提出了一种实用性的资源管理策略，该策略显著减少了函数的冷启动次数，同时比现有策略花费更少的资源。

    Mar, 2020

  • Shabari：用于更快、更高效的无服务器函数的延迟决策

    通过在功能输入可用后延迟进行资源分配决策，Shabari 在提供功能性能的同时提高资源利用率，相比包括 Aquatope、Parrotfish 和 Cypress 在内的现有系统，Shabari 在一系列无服务器功能和输入上将 SLO 违规减少了 11-73％，同时节省了 CPU 资源并在中位数情况下减少了 64-94％的内存浪费。

    Jan, 2024

  • 强化学习（RL）增强冷启动频率减少在无服务器计算中的应用

    通过使用强化学习减少冷启动频率，以提高函数即时初始化效果的解决方案的实现与评估。

    Aug, 2023

  • 用时间卷积网络管理无服务器云中的冷启动

    该论文提出了一种新的低耦合、高内聚的集成策略以解决无服务器云堆栈基础结构和功能级别的冷启动问题，并提出了一种基于时间卷积网络（TCN）的深度学习方法，用于预测未来 10 至 15 分钟内功能实例的到来，并在实际数据集上进行了基准测试，证明 TCN 在时序机器学习算法中表现出更好的性能。

    Apr, 2023

  • 无服务器计算：当前趋势和开放问题

    本文调研了工业界、学术界和开源项目中已有的无服务器平台，分析了其关键特性、使用案例，描述了其技术挑战和未解决的问题。

    Jun, 2017

  • 一种智能无服务器函数的深度递归强化学习方法

    通过将模型无关的循环强化学习（Recurrent RL）代理与最先进的 PPO 算法相结合，我们研究了用于函数自动缩放的模型无关的 Recurrent RL 代理，并将其与基于阈值的函数自动缩放进行了比较，发现循环策略能够捕捉环境参数并在函数自动缩放方面显示出有希望的结果。除此之外，我们将基于 PPO 的自动缩放代理与商业使用的基于阈值的函数自动缩放进行了比较，并认为基于 LSTM 的自动缩放代理能够提高吞吐量 18％，函数执行速度 13％，并支持多出 8.4％的函数实例。

    Aug, 2023

  • FSD-Inference：基于云通信的完全无服务器分布式推断

    FSD-Inference 是第一个完全无服务器且高度可扩展的分布式机器学习推断系统，通过与 FaaS 计算相结合，探索了潜在的通信渠道，为无服务器数据密集型计算中的分布式机器学习设计了一种先进的解决方案。

    Mar, 2024

  • 云服务使异构资源上高效的 AI 引导仿真工作流程成为可能

    使用多种计算资源，如高度并行的超级计算机和专用加速器，部署基于 AI 的模拟工作流非常有利，其中，云托管管理服务的使用可以简化跨资源身份验证和授权，功能即服务（FaaS）函数调用和数据传输等方面的管理，我们的研究表明使用云托管管理服务可以实现与直接连接资源使用情况相当的性能优化。

    Mar, 2023

  • 无服务器计算中深度强化学习的综述：函数调度与资源自动扩展

    该论文综述了深度强化学习技术在无服务器计算的函数调度和资源扩展领域的应用，分析了各种算法、模型和性能，发现深度强化学习在提高函数调度和资源扩展效率方面取得了有希望的结果，同时也指出了需要解决的挑战和未来研究方向。

    Oct, 2023

  • 无服务器机器学习模型推理调查

    最近在生成人工智能、计算机视觉和自然语言处理方面的进展，已经使得人工智能模型得到了广泛应用。这种广泛应用需要在生产环境中部署这些模型，确保可靠性、最小的停机时间以及优化基础设施的运营成本。大型机器学习模型经常需要 GPU 资源以进行高效推理，以满足服务级别目标。在这些趋势的背景下，人们越来越关注在无服务器架构中托管 AI 模型，并提供推理任务的 GPU 访问。这项调查旨在总结和分类大规模深度学习服务系统中的新兴挑战和优化机会。通过提供新颖的分类法和总结最近的趋势，我们希望这项调查能为大规模深度学习服务系统的新的优化视角提供启示，并激发出创新作品。

    Nov, 2023