Jun, 2023

OSP：通过 2 阶段同步提高分布式模型训练效率

PDF
TL;DR本研究旨在提出一种新的模型同步方法，名为 Overlapped Synchronization Parallel (OSP)，通过使用 2 级同步方法和基于局部梯度的参数校正 (LGP)，以达到有效的通信，避免丢失梯度导致的精度损失，并在测试中得到了 50% 的吞吐量提升，而不会丢失精度。
distributed deep learninggradient compressionmodel synchronizationcommunicationaccuracy loss
发现论文，激发创造
  • 通过容忍性损失传输协议提升分布式机器学习训练

    本文提出了一个名为‘Loss-tolerant Transmission Protocol 的传输协议，通过使用乱序传输和乱序 ACK 来实现容错传输。通过与传统的 TCP 拥塞控制的比较，实验证明该协议可以在不损失最终准确性的情况下将分布式机器学习的训练吞吐量提高 30 倍。

    May, 2023

  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 通过选择性同步加速分布式机器学习训练

    本文提出了一种名为 SelSync 的低开销方法，用于 DNN 训练，该方法具有动态选择通信与否的功能，可提高收敛性，比 BSP 技术减少训练时间高达 14 倍。

    Jul, 2023

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 深度学习模型并行加速中的陈旧度优化

    本研究提出了 Layer-wise Staleness 方法与 Diversely Stale Parameters (DSP) 算法来解决深度卷积神经网络的训练效率问题，并对两种梯度法进行分析和证明，实验证明 DSP 能显著提升训练速度并具备更强的鲁棒性。

    Sep, 2019

  • 面向分布式 DNN 训练的基于优先级的参数传递

    本文提出了一种名为 “P3” 的新型同步机制，通过优化参数同步和计算之间的交替，以最小化通信延迟，从而提高数据并行训练的性能，并在 ResNet-50，Sockeye 和 VGG-19 等模型上实现了高达 25％，38％和 66％的训练吞吐量提升。

    May, 2019

  • 分布式机器学习基于异构边缘系统

    提出 ADSP 参数同步方案，解决了分布式机器学习中参数同步与边缘设备的异构性问题，通过策略性地决定每个工作节点提交模型更新的时间点，不仅确保了全局模型收敛，而且加快了收敛速度。

    Nov, 2019

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 通过缩放进行自适应的本地方法

    本文旨在将局部训练技术与自适应方法相结合，以开发高效的分布式学习方法，并通过训练神经网络实验验证了方法的性能。

    Jun, 2024

  • Ravnest：异构设备上的去中心化异步训练

    该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

    Jan, 2024