Jul, 2018

使用自动数据流图分区支持非常大的模型

PDF
TL;DRTofu 是一个系统，它可以将超大的 DNN 模型分割到多个 GPU 设备上以减少每个 GPU 的内存占用，该系统采用数据流图的方式透明地与 MXNet 等通用深度学习平台配合使用，通过一种描述算子语义的简单语言，实现自动划分。通过递归搜索算法来优化划分，并在 8-GPU 机器上的实验中展现了训练超大 CNN 和 RNN 模型的能力，在速度方面则比其他方法提高了 25% 至 400%。
tofudnn modelsgpu devicesdataflow graphdeep learning platform
发现论文，激发创造
  • TensorFlow：大规模机器学习系统

    TensorFlow 是一个机器学习系统，使用数据流图表示计算，共享状态以及操作，支持训练和推理深度神经网络等应用，并在多种真实世界应用中取得了出色的性能表现。

    May, 2016

  • Mesh-TensorFlow：用于超级计算机的深度学习

    本文介绍了 Mesh-TensorFlow，一种用于实现一般分布式张量计算的语言，以代替传统的数据并行策略，从而支持更大的模型训练和更高的效率。通过应用 Mesh-TensorFlow 实现了一个数据并行、模型并行的 Transformer 模型，最终在 WMT'14 英法翻译任务和亿级语言建模基准测试上实现了最优性能。

    Nov, 2018

  • TpuGraphs: 大型张量计算图的性能预测数据集

    该论文介绍了基于 Tensor Processing Units（TPUs）上运行的完整张量程序（表示为计算图）的性能预测数据集 TpuGraphs，该数据集提供了大规模图的图级预测任务，涉及规模可比较的图属性预测数据集的 25 倍的图，以及平均比现有的机器学习程序性能预测数据集大 770 倍的大型图，从而带来了从可伸缩性、训练效率到模型质量等方面的新挑战。

    Aug, 2023

  • TFLMS：TensorFlow 中的图重写大模型支持

    本研究提出了一种解决深层神经网络在内存不足的情况下训练的方法，通过在计算图中插入 swap-out 和 swap-in 操作暂时将中间结果存储到 CPU 内存中，实现了较大规模深层神经网络的训练，并通过 TFLMS 模块发布到 TensorFlow 仓库，成功训练了 ResNet-50 和 3DUnet。

    Jul, 2018

  • 多核 NPUs 的张量切片和优化

    提出了一种用于高度约束的多核心神经处理器单元的 TensorFlow XLA/LLVM 编译器优化方法，名为 Tensor Slicing Optimization (TSO)，这种方法最大限度地提高了 NPU 核心的卷积并行性和内存使用率，并使用 DRAM 内存突发时间估计来指导张量切片，以减少主机和 NPU 芯片内存之间的数据传输，很大程度上缩短了执行时间。

    Apr, 2023

  • 探索在 Google TPUs 上进行 ML 训练的并发限制

    本文提出了一些技术来在 Google TPU Multipod 上扩展 ML 模型，讨论了模型并行处理，解决数据并行处理中批处理大小的扩展限制，以及一些性能优化方法，并用 TensorFlow 和 JAX 框架进行了演示，同时给出了 MLPerf-v0.7 竞赛结果，获得了四个 MLPerf 模型的最快训练时间记录。

    Nov, 2020

  • TensorFlow：异构分布式系统上的大规模机器学习

    TensorFlow 是一个机器学习算法接口和执行工具，支持许多异构系统的执行，可应用于包括语音识别、计算机视觉、自然语言处理、获得地理信息和药物开发在内的多个领域，并提供 API 和参考实现的开源包。

    Mar, 2016

  • 高效扩展 Transformer 推理

    该研究旨在提高 Transformers 模型的生成推理效率，并通过多维分区技术、低级优化等策略获得较佳的推理效率和 FLOPS 利用率权衡，从而支持 Token 的大批量处理和长文本生成。

    Nov, 2022

  • 使用 Megatron-LM 在 GPU 集群上高效训练大规模语言模型

    本论文提出了一种新的并行计算方法（并行、管道、数据并行），并探讨了不同并行计算方法之间的权衡取舍，可使模型达到拥有万亿参数的级别，提高了 10％的吞吐量，是现有方法的可比内存占用率。在 3072 个 GPU 上完成了 1 万亿参数模型的训练，每个 GPU 的吞吐量达到了理论峰值的 52％。

    Apr, 2021

  • TAP: 通过张量自动并行化加速大规模深度神经网络训练

    本文提出了一种模型并行框架 TAP，利用神经网络作为有向无环图的性质，设计了一种图剪枝算法以高效地搜索最佳的数据和张量并行计划，实验表明 TAP 比现有自动并行化框架快 20-160 倍，并且其发现的并行化计划比专家设计的计划具有竞争力。

    Feb, 2023