May, 2024

规模化分布式空间架构上高效 AI 工作流执行

PDF
TL;DR给定了日益复杂的人工智能应用，我们通过分析发现了一种相互连接的、多方面任务的模式，涵盖了人工智能和一般计算过程。对此，我们提出了 “Orchestrated AI Workflows” 的概念，将各种任务与逻辑驱动的决策整合成动态而复杂的工作流程。同时，我们提出了 Octopus，一个针对执行 Orchestrated AI Workflows 而优化的可扩展的空间架构和一套先进的调度策略，它在处理动态需求方面显著优于传统架构，并在大规模硬件（如大规模芯片）上具有强大的可扩展性。
orchestrated ai workflowsspatial architecturesoctopusdynamic execution timesscalability
发现论文，激发创造
  • 计算连续体中的自治和智能：编排的挑战、支持因素和未来发展方向

    本文研究了设备边缘云计算中的资源编排，强调边缘 AI 对资源编排的支持和强调本地自治和智能，提出了一个旨在实现未来资源编排愿景的编排范式。

    May, 2022

  • AI 耦合 HPC 工作流中异构任务的异步执行

    本文研究异构科学工作流中异步任务执行的要求和性质，提出度量异步执行的定性好处的关键指标，并在 Summit 上进行的实验表明，使用异步执行可以大大提高性能.

    Aug, 2022

  • AI-coupled HPC 工作流程

    通过将人工智能 / 机器学习模型集成到传统超级计算机工作流中，这篇论文讨论了提高科学性能的多种方式和生产级用例，并介绍了解决极限规模 AI 结合 HPC 活动的主要挑战和几种框架和中间件方案。

    Aug, 2022

  • Singularity: 基于地球规模的 AI 工作负载预先调度和弹性调度

    Singularity 是一种基于新颖的负载感知调度器的调度服务，支持对分布式的深度学习训练和推理负载，在全球范围内进行高效且可靠的执行，并采用了一种具有透明性的机制，可以自动地弹性地调整和重新规划任务的执行位置以及加速。

    Feb, 2022

  • 以工作为中心的人工智能代理：认知工作线程设计、实现和管理

    提出了一种以工作状态为中心的 AI 代理模型，通过使用 “工作笔记” 记录和反映任务执行过程中的状态，并介绍了该模型的架构和组成部分，包括任务监测的工作线程、任务分解和规划的计划模块，以及使用 ReAct 思考 - 行动循环执行子任务的执行器模块。研究结果表明，该模型不仅提高了任务执行效率，还为后续的任务分析和审计奠定了坚实的基础。

    Nov, 2023

  • 可扩展、分布式 AI 框架：利用云计算提高深度学习性能和效率

    本文全面研究了利用云计算的可扩展和分布式人工智能框架以提高深度学习性能和效率的关键方面，包括数据存储和管理、优化策略、模型部署与服务等，并讨论了云计算人工智能的挑战、限制和未来研究方向。

    Apr, 2023

  • 路径：面向机器学习的异步分布式数据流

    我们设计了一种新型大规模编排层，Pathways，它能够探索新的系统和机器学习研究想法，同时保持目前模型的先进性能。Pathways 使用异步 operator 的分片数据流图，在数千个加速器上高效地安排异构并行计算，同时通过专用互连协调数据传输。通过小心的工程技术，Pathways 采用了异步分布式数据流设计，使得控制平面能够并行执行，尽管在数据平面有依赖。我们证明，Pathways 能够在 2048 TPUs 上运行 SPMD 计算，达到与最先进系统相当的性能平衡（~100% 加速器利用率），同时在 Transformer 模型的 16 个阶段或连接在数据中心网络上的两个加速器岛上进行分片时，也能够提供与 SPMD 情况相当的吞吐量。

    Mar, 2022

  • 远程感知中异构系统的动态组合方法

    本文介绍了一种新的动态组合异构系统的方法，以进一步推进数据驱动的科学实践，以提高计算效率和特定科学领域的可用工具，并概述了一项以可组合基础架构为基础的案例研究，展示了火灾建模的应用。

    Nov, 2022

  • 纯边缘计算中的鲁棒自适应工作负载编排

    本文提出了一种鲁棒自适应工作负载编排（R-AdWOrch）模型，通过使用优先级定义和重新分配策略，最小化紧急任务的截止日期延迟和低优先级任务的数据丢失，结果表明 R-AdWOrch 在所有情况下都能最小化紧急任务的截止日期延迟，并最小化低优先级任务的数据丢失。

    Aug, 2023

  • 云服务使异构资源上高效的 AI 引导仿真工作流程成为可能

    使用多种计算资源，如高度并行的超级计算机和专用加速器，部署基于 AI 的模拟工作流非常有利，其中，云托管管理服务的使用可以简化跨资源身份验证和授权，功能即服务（FaaS）函数调用和数据传输等方面的管理，我们的研究表明使用云托管管理服务可以实现与直接连接资源使用情况相当的性能优化。

    Mar, 2023