Jan, 2022

使用高效的图遍历顺序在设备放置中加速模型并行训练

PDF
TL;DR本研究探讨了神经网络图遍历顺序对设备部署的影响，特别是在模型并行化中如何选择最佳遍历顺序，以提高不同神经网络家族的训练时间。
neural networkstrainingmodel parallelizationdevice placementgraph traversal
发现论文，激发创造
  • GDP: 数据流图的通用设备放置

    本文提出了一种端到端的基于图神经网络的可扩展顺序关注机制，并使用超前网络在每个独立图上进行微调，达到了优于人类专家和先前技术的 16% 平均改善和 15 倍更快的收敛速度，从而实现了有关大型神经网络和设备放置的计算成本和效率的突破。

    Sep, 2019

  • 设备放置优化与强化学习

    本文提出了一种使用序列到序列模型来预测 TensorFlow 计算图中哪些操作应该在哪些可用设备上运行的方法，并以预测的放置方式的执行时间作为奖励信号来优化序列到序列模型参数，结果表明在基于 Inception-V3 的 ImageNet 分类和基于 RNN LSTM 的语言建模和神经机器翻译的任务中，使用该模型能够发现优于手动设置和传统算法方法的设备放置方案。

    Jun, 2017

  • Celeritas: 面向大型数据流图的快速优化器

    Celeritas 是一个快速的框架，通过一系列调度算法优化大型模型的设备配置，减少设备配置时间和提高运行效率。

    Jul, 2022

  • 一种针对计算图学习设备放置的结构感知框架

    我们提出了一个基于强化学习的新框架，用于任务设备放置，该框架利用从 OpenVINO 工具包中提取的较小的计算图，包括图粗化、节点表示学习和策略优化等五个步骤，并结合了图表示学习和个性化图划分的模型变种，通过使用推荐设备放置的执行时间来制定奖励，多个实验表明该方法具有灵活性和有效性。

    May, 2024

  • ML/DL 模型中数据流图的自动任务并行化

    我们提出了一种基于关键路径的线性聚类方法，利用机器学习数据流图中的并行路径来优化图的结构，从而加速串行执行速度，并在编译和运行时优于一些当前机制。

    Aug, 2023

  • 探索卷积神经网络并行化中的隐藏维度

    本文提出了一种层级并行的方法来训练深度卷积神经网络，在这种方法中，每层神经网络都可以应用不同的并行策略以优化训练，通过解决图搜索问题来协同优化每个层的并行化方式。 实验结果表明，与现有的并行化方法相比，采用该方法可以提高训练吞吐量，降低通信成本，实现更好的多 GPU 可扩展性，并保持原始网络的准确性。

    Feb, 2018

  • 针对原子模拟的十亿参数图神经网络训练

    本文提出的图并行算法可在多个 GPU 上分布输入图，从而实现训练数十亿个参数的大型 GNN， 该方法在大规模开放铂族催化剂的数据集上取得了新的最先进结果。

    Mar, 2022

  • 大规模分布式模型训练的高效并行化布局

    通过对大型语言模型的多种训练配置进行全面的消融研究，我们总结出几个关键建议，以实现最高效的训练，例如，我们发现使用微批量大小为 1 通常能实现最高效的训练布局。较大的微批量大小需要激活检查点或更高程度的模型并行性，并且还会导致更大的管道延迟。我们最高效的配置使得在一系列模型规模上实现了最先进的训练效率结果，尤其是在训练 13B 模型时，模型 FLOPs 利用率达到了 70.5%。

    Nov, 2023

  • SplitPlace: 移动边缘环境中大规模神经网络的 AI 增强分裂和放置

    这篇论文提出了一种基于强化学习的 AI 策略 SplitPlace，可以智能决策基于边缘计算的需求，采用分层或语义分割策略，对神经网络进行分割并将其部署在资源受限的移动边缘设备上，实现高效可扩展的计算。实验表明，SplitPlace 可以显著提高平均响应时间、截止日期违规率、推断准确度和总奖励达 46％，69％，3％和 12％。

    May, 2022

  • 利用 GPU 加速图机器学习中的图采样

    该论文介绍了一个名为 NextDoor 的系统，该系统使用称为 transit-parallelism 的新方法，在 GPU 上高效执行图形采样，并比现有系统运行得更快，该系统提供给终端用户撰写各种图形采样算法的高级抽象。

    Sep, 2020