Jan, 2023

MIGPerf: 多实例 GPU 深度学习训练和推断负载的全面基准测试

PDF
TL;DR本文提供了一个名为 MIGPerf 的开源工具，对多实例 GPU 技术进行了综合和实际的基准研究，并从多方面对 MIG 进行了实验研究，为用户有效使用 MIG 提供新的见解和指导，并为在 MIG 上协调混合训练和推理负载的研究奠定了基础。
multi-instance gpumigbenchmark studydeep learninggpu sharing
发现论文，激发创造
  • MLPerf 推理基准测试

    这篇文章介绍了通过制定一套标准的机器学习基准测试和评估准则来评估以不同结构构建的机器学习硬件和软件系统的性能，以解决各种机器学习结构的评估所面临的挑战。

    Nov, 2019

  • MLPerf 训练基准测试

    MLPerf 是一个机器学习基准测试，用于量化评估训练性能和可扩展性，解决了优化训练、随机性和系统差异等挑战。

    Oct, 2019

  • 多 GPU 平台机器学习训练的通用性能建模

    通过数据分配感知性能模型和通信集合的数据移动预测，我们可以在多个 GPU 平台上训练机器学习工作负载，并且能够准确预测迭代训练时间，扩展到其他类型的机器学习工作负载，例如基于 Transformer 的自然语言处理模型，并能够生成洞察力，如快速选择最快的嵌入表分片配置。

    Apr, 2024

  • 使用图神经网络的深度学习推断性能预测模型 DIPPM

    本文介绍了一种基于深度学习推理性能预测模型的方法，该模型可以预测在 NVIDIA A100 GPU 上给定输入的深度学习模型的推理延迟、能量和内存使用情况，并建议适当的 GPU 配置方案，同时帮助进行模型推理性能的快速设计空间探索。

    Mar, 2023

  • 现代 GPU 的层次化资源划分：一种强化学习方法

    基于强化学习和资源分区方法的研究，针对现代 GPU 上的层次化资源分区进行了探讨，以 NVIDIA GPU 上的 MPS 和 MIG 为例，通过综合优化分区设置和作业选择，实现了同时设置作业并发性、分区和协调组选择，获得了 1.87 倍的最大吞吐量提升。

    May, 2024

  • Intel 数据中心 GPU 上的完全融合多层感知器

    SYCL 实现的多层感知器在 Intel 数据中心 GPU 上表现出较高的性能和算术强度。

    Mar, 2024

  • Miriam：在边缘 GPU 上利用弹性核心进行实时多 DNN 推理

    提出了 Miriam，一种用于多个边缘 GPU 上的深度神经网络任务协调的计划，通过弹性内核生成器和运行时动态内核协调器，可以实现混合关键性 DNN 推理，并且在关键任务上只产生不到 10％的延迟开销，相比现有技术基准，系统吞吐量可提高 92％。

    Jul, 2023

  • GPU 上的分布式深度学习框架性能建模与评估

    本研究通过评估四种最先进的分布式深度学习框架（即 Caffe-MPI，CNTK，MXNet 和 TensorFlow）在单 GPU、多 GPU 和多节点环境中的运行性能，基于 SGD 训练三种流行的卷积神经网络（即 AlexNet，GoogleNet 和 ResNet-50），分析了引起这四个框架性能差异的因素，并提出进一步优化方向。通过分析和实验研究，发现了可以进一步优化的瓶颈和开销，为算法设计和系统配置提供了改进方向。

    Nov, 2017

  • PARIS 和 ELSA：一种用于可重构多 GPU 推理服务器的弹性调度算法

    本研究探讨了 NVIDIA 最新发布的 Ampere GPU 体系结构在云机器学习推理系统中的应用，并提出了一种适用于异构 GPU 服务器部署的复杂划分算法和弹性调度算法，实现低延迟和高 GPU 利用率的平衡。

    Feb, 2022

  • 迁移机器学习模型至智能处理单元的洞察

    通过探索 Intelligence Processing Units (IPUs) 的优化技巧以及将专用模型迁移到 IPU 平台，本研究表明 IPU 是机器学习、材料科学和电池研究领域中 GPU 的一种可行加速器替代方案。在多次充放电循环中，本研究还展示了 IPU 上进行有效电导率预测任务时使用卷积神经网络 (CNN) 架构模型与 GPU 执行相当的性能，并通过基准测试发现 Graphcore 的 Bow IPU 相较于 Colossus IPU 有显著的性能改善。

    Apr, 2024