Sep, 2023

Zen: 高效稀疏张量同步的分布式深度神经网络训练

PDF
TL;DR这篇论文研究了在分布式训练深度神经网络中，梯度同步的通信性能瓶颈问题，并发现了梯度张量的稀疏性可以减少通信量从而提高整体训练效率，通过系统地探索通信方案的设计空间，找到了最佳方案，并开发了名为 Zen 的梯度同步系统，通过对稀疏张量的近似实现可以实现高达 5.09 倍的通信时间加速和 2.48 倍的训练吞吐量加速。
发现论文，激发创造
  • 分布式深度学习的近似最优稀疏全约简算法

    本文提出了 O$k$-Top$k$ 的方案，将新型稀疏同时求和算法与去中心化并行随机梯度下降（SGD）optimizer 进行集成，达到与总结所有技术相当的模型精度，与优化密集型和最先进的稀疏同时求和相比，O$k$-Top$k$ 更具扩展性并显着提高了训练吞吐量。

    Jan, 2022

  • 超级神经元：基于 FFT 的梯度稀疏化在深度神经网络的分布式训练中的应用

    使用稀疏性和基于范围的浮点表示方法，本文提出了一种新的梯度压缩框架，该框架在不影响准确性和收敛速度的情况下，显著提高了最流行的神经网络在大规模 GPU 集群上的可扩展性。

    Nov, 2018

  • 图神经网络训练中的通信减少

    本文介绍了一系列用于训练图神经网络的并行算法，可以通过优化通信来减少稀疏矩阵训练的通信成本，对于多个数据集上的测试结果表明其有效性。

    May, 2020

  • 分布式训练系统中梯度压缩的效用

    为了解决同步数据并行训练中的通信瓶颈，本研究评估了梯度压缩方法的有效性，并将它们的可扩展性与优化后的同步数据并行 SGD 实现进行了比较。分析发现，仅有 6 种情况下，梯度压缩方法提供了速度优势。本研究提出了一种性能模型，用于确定在各种系统设置中梯度压缩的益处，并提出了一些理想的梯度压缩方法的性质列表，以获得有意义的综合优势。

    Feb, 2021

  • 异步张量并行通信最小化

    本研究提出 Tensor3D 算法来高效地训练具有数十亿参数的神经网络，能够最小化通信引起的空闲时间，通过智能神经网络参数分布、并行训练过程的超分解以及通信模型，优化通信，相较于 Megatron-LM，Tensor3D 将 28B 参数 CNN 在 256 个 A100 GPU 上的训练时间缩短了近 60%。

    May, 2023

  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 优化 GPU 集群上分布式 DNN 训练的网络性能：1.5 分钟内完成 ImageNet/AlexNet 训练

    本论文提出了一种名为 GradientFlow 的通信后端，通过一系列网络优化技术来优化深度神经网络（DNN）的分布式训练，包括环形全局归约、混合精度训练、循环计算 / 通信和懒惰全局归约等，实现了超过 410 倍的训练速度加速比和 1.5 分钟完成 95 个 Epoch 的训练。

    Feb, 2019

  • 保持最优梯度稀疏化成本的可扩展分布式深度学习

    ExDyna 是一种新颖的梯度稀疏化方案，通过将模型的梯度张量分为细粒度的块并将连续的块分组成不重叠的分区，实现了减少通信开销、平衡工作负载和在线阈值调整，从而提高分布式训练系统的可扩展性和稀疏化性能。

    Feb, 2024

  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019

  • 分布式训练的通信优化：架构、进展和机遇

    大规模深度神经网络的分布式训练通信优化的研究，提出了一个五层范式，强调协同设计的机会。

    Mar, 2024