我们提出了一种新颖的 GPU 集群调度器，用于分布式深度学习工作负载，基于 DDL 作业对预期通信网络延迟的敏感性实现了基于邻近性的资源整合，通过经典的延迟调度算法来实现作业的放置和整合，使用数据驱动的 DDL 集群模拟平台进行了大规模实验，证明了我们设计的优势。在拥挤的网络条件下，与现有的基于整合的调度方法相比，我们的调度器可以提供多达 69% 的端到端完成时间的改进，同时将平均作业完成时间降低多达 83%，并将通信开销最小化多达 98%。

Jan, 2024

CASSINI 是一个面向机器学习聚类的网络感知作业调度器，引入了一种新颖的几何抽象来考虑不同作业的通信模式，在网络链接上放置它们。通过使用亲和图，CASSINI 找到一系列时间偏移值来调整一组作业的通信阶段，以便共享相同网络链接的作业的通信模式交错在一起。在一个 24 台服务器的测试环境中对 13 个常见机器学习模型进行的实验证明，与最先进的机器学习调度器相比，CASSINI 将作业的平均完成时间和尾部完成时间分别提高了 1.6 倍和 2.5 倍。此外，我们展示了 CASSINI 将集群中标记的 ECN 数据包数量减少了多达 33 倍。

Aug, 2023

GNNNavigator 是一个自适应的 GNN 训练配置优化框架，它能够通过软硬件统一抽象、GNN 训练性能模型和设计空间探索解决方案来满足不同 GNN 应用需求，实验结果显示，GNNNavigator 可以实现长达 3.1 倍的加速和 44.9% 的峰值内存减少，并且达到与最先进方法相当的准确性。

Apr, 2024

本文介绍了一种深度学习执行引擎 Nimble，采用 ahead-of-time（AoT）调度技术，可以以尽可能小的调度开销运行 GPU 任务。与 PyTorch, TensorRT 和 TVM 相比，Nimble 在加速推断和训练方面表现出较好的性能。

Dec, 2020

本文调查了现有的深度学习模型调度器设计，旨在实现更高的资源利用率和更低的运营成本。

May, 2022

Symphony 是一个集中式调度系统，用于在 GPU 集群上协调深度神经网络模型推断。它通过使用非工作保持调度算法实现高批量效率，并能够自动扩展。Symphony 利用基于计算和内存需求的模型将模型分配给子集群的大规模算法，经过广泛的实验，证明了其比之前的系统具有高达 4.7 倍的吞吐量。

Aug, 2023

通过将 AutoTVM 算法 Droplet Search 整合到 Ansor 的探索阶段中，我们展示了在减少搜索时间的同时提高内核质量的潜力。应用该方法于 Ansor 生成的前 300 个内核时，通常比允许 Ansor 分析 10,000 个内核时更快地获得更好的内核。

Jun, 2024

本研究探讨了 NVIDIA 最新发布的 Ampere GPU 体系结构在云机器学习推理系统中的应用，并提出了一种适用于异构 GPU 服务器部署的复杂划分算法和弹性调度算法，实现低延迟和高 GPU 利用率的平衡。

Feb, 2022

本研究使用深度强化学习技术，提出了一种方法，在具备多种协处理器的异构 SoC 系统中智能地调度和学习任务流，实验结果表明，相比于传统的调度启发式算法，我们的强化学习系统在最小化执行时间方面提供了更好的选择。

Jun, 2019

本研究旨在使用元模型 MetaNet 来解决在线动态选择调度策略的问题，以优化任务调度和执行成本。相比于现有的深度学习调度器，MetaNet 能使执行成本、能源消耗、响应时间和服务水平协议的违规率分别提高 11、43、8 和 13％左右。

May, 2022