ICMLNov, 2018

分布式深度学习的随机梯度推动

PDF
TL;DR本文研究了 Stochastic Gradient Push 算法，将 PushSum gossip 算法与随机梯度更新相结合，证明 SGP 能以与 SGD 相同的亚线性速率收敛于平稳点，并且所有节点都能达成共识。研究结果在图像分类（ResNet-50，ImageNet）和机器翻译（Transformer，WMT'16 En-De）中进行了经验验证。
distributed data-parallel algorithmspushsum gossip algorithmstochastic gradient pushmachine learningdeep neural networks
发现论文，激发创造
  • 异步分散并行随机梯度下降

    本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

    Oct, 2017

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 周期平均的本地随机梯度下降：更紧密的分析和自适应同步

    本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。

    Oct, 2019

  • 周期全局平均化加速 Gossip SGD

    本文介绍了一种名为 Gossip-PGA 的算法，该算法将定期全局平均合并到 Gossip SGD 中，通过控制平均周期 H，可以控制网络拓扑结构的影响，而此算法在大规模训练中存在这样的优点，它使得瞬变阶段的收敛速度优于 Local SGD 且远优于原有的 Gossip SGD。

    May, 2021

  • 深度学习的八卦训练

    本研究旨在解决加速卷积神经网络训练的问题，其中使用了一种适用于随机梯度下降的分布式方法。这种并行优化设置使用多个线程，每个线程在本地变量上应用单独的梯度下降，并提出了一种具有吸取交际算法启发式的共享不同线程信息的新方法，具有良好的一致收敛性和完全异步和分散式的优势，该方法称为 GoSGD。我们在 CIFAR-10 上将此方法与最近的 EASGD 作比较，结果鼓舞人心。

    Nov, 2016

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 基于异构数据的分散深度学习的 RelaySum 算法

    本研究提出了 RelaySum 机制来解决分散式学习中不同工作节点之间数据分布的差异所带来的挑战，该机制利用生成树将信息分配给所有工作节点，并证明了基于该机制的 RelaySGD 对于数据异构性是独立的，并可扩展到许多工作节点，从而在异构数据上实现高精度的分散式深度学习。

    Oct, 2021

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 弹性平均随机梯度下降的深度学习

    在通信约束之下的并行计算环境下研究深度学习的随机优化问题，提出了一种新的基于弹性力的算法，可以使本地变量更加波动以允许更多的探索，同时减少了本地工作者与主节点之间的通信，从而加快了训练速度和提高了效率

    Dec, 2014

  • 用于网络分布式优化的推拉梯度方法

    本文介绍了一种新的分布式梯度方法，称为 “推 - 拉梯度方法”，利用两种不同的图形实现代理之间的信息交换，并在同步和异步随机传递的情况下，线性地收敛于重要的自治网络。

    Oct, 2018