Jan, 2024

网络敏感深度学习的 GPU 集群调度

PDF
TL;DR我们提出了一种新颖的 GPU 集群调度器，用于分布式深度学习工作负载，基于 DDL 作业对预期通信网络延迟的敏感性实现了基于邻近性的资源整合，通过经典的延迟调度算法来实现作业的放置和整合，使用数据驱动的 DDL 集群模拟平台进行了大规模实验，证明了我们设计的优势。在拥挤的网络条件下，与现有的基于整合的调度方法相比，我们的调度器可以提供多达 69% 的端到端完成时间的改进，同时将平均作业完成时间降低多达 83%，并将通信开销最小化多达 98%。
发现论文，激发创造
  • GPU 数据中心中的深度学习工作负载调度：分类、挑战和前景

    本文调查了现有的深度学习模型调度器设计，旨在实现更高的资源利用率和更低的运营成本。

    May, 2022

  • 分布式机器学习集群中的在线作业调度

    本文针对分布式机器学习系统的调度问题，使用参数服务器框架设计了一种在线算法，以最大化所有作业的整体效用，并在跟踪驱动模拟和实验测试中证明了其优越性。

    Jan, 2018

  • 网络争用感知的集群调度策略与强化学习

    通过使用强化学习，我们提出了一种新的方法，在 GPU 集群中减轻网络争用，以提高调度决策的效率，从而减少作业完成时间并降低资源利用率。

    Oct, 2023

  • 大规模分布式深度学习的资源分配和工作负载调度研究

    大规模分布式深度学习中，资源分配和工作负载调度的高效策略是实现高性能深度学习的关键。本综述调查了 2019 年至 2024 年间关于大规模分布式深度学习的资源分配和工作负载调度策略的文献，并通过探索不同类型的资源、调度粒度和性能目标，以及实际案例研究为例，突出了每个主题的关键挑战和现有技术的重要见解，旨在鼓励计算机科学、人工智能和通信研究人员了解最新进展并探索大规模分布式深度学习的未来研究方向。

    Jun, 2024

  • MetaNet: 云环境中自动化动态调度策略的选择

    本研究旨在使用元模型 MetaNet 来解决在线动态选择调度策略的问题，以优化任务调度和执行成本。相比于现有的深度学习调度器，MetaNet 能使执行成本、能源消耗、响应时间和服务水平协议的违规率分别提高 11、43、8 和 13％左右。

    May, 2022

  • 可重构分布式 FPGA 集群设计用于深度学习加速器

    基于低功耗的内嵌 FPGA 提出的分布式系统，可用于边缘计算应用，通过分布式调度优化深度学习负载以获得最佳性能，同时可以在多种配置下评估和管理神经网络工作负载。

    May, 2023

  • 导航器：用于延迟敏感机器学习工作流的分散调度器

    我们提出了 Navigator，这是一个将 GPU 内存管理和任务调度统一起来的新框架，它在保证资源利用效率的同时，将任务放置在满足数据依赖关系的位置，将来自同一作业的任务放置在一起（在不过载主机或其 GPU 的情况下），并有效地管理 GPU 内存，与其他领先的调度程序相比，完成时间明显缩短，同时所需的资源量相同甚至更少，在一个案例中，处理相同工作负载只需要一半的服务器。

    Feb, 2024

  • 深度学习驱动的单机问题调度算法，最小化总延迟

    利用深度学习方法解决单机调度问题，我们提出了一个深度神经网络，用于估计单次调度算法中所用的准则值，以指导算法找到问题的最佳分割，通过生成训练数据集的新方法，加速了数据集生成，并减少了解的平均最优性差距。实验结果表明，我们的机器学习驱动方法能够从训练阶段有效地概括信息到更大的实例中。

    Feb, 2024

  • DLRover：一种具有自动任务资源推荐的弹性深度训练扩展

    系统是一个自动配置深度学习作业资源的分布式深度学习框架，具有动态调整作业资源以获得更好性能的弹性能力。

    Apr, 2023

  • 基于多智能体强化学习的地理分布数据中心可持续负载调度

    本研究提出一种基于多智能体强化学习和演员 - 评论家方法的算法，通过与真实工作负载模式、能源价格和碳强度相互作用的云系统学习最优的协同调度策略，从而最大化 GPU 利用率、降低运营成本和减少碳排放。与其他算法相比，我们的方法提高了系统效用，最高可达 28.6％。

    Apr, 2023