MMFeb, 2019

非独立同分布数据分布式异步训练的全局动量梯度调度

PDF
TL;DR提出了一种利用全局动量和局部平均梯度的梯度调度算法 GSGM 来处理非 IID 数据的分布式异步训练问题，并进行了一系列实验，结果表明 GSGM 算法相对于同类算法可以提高 20% 的训练稳定性并略微提高准确性，同时在稀疏数据分布的情况下可以提高 37% 的训练稳定性，在 30 个计算节点的情况下仍表现出较好的收敛性能，对不同程度的非 IID 数据鲁棒性强。
distributed asynchronous trainingnon-independent and identically distributed datagradient scheduling algorithmglobal momentumtraining stability
发现论文，激发创造
  • 在分布式异步环境下调控动量

    提出了一种名为 DANA 的技术，旨在解决分布式异步训练的梯度走样问题，可以加速深度神经网络的训练过程且不影响最终精度。该方法在 CIFAR 和 ImageNet 数据集上表现出比现有方法更好的性能。

    Jul, 2019

  • 非独立分散数据的有效联邦自适应梯度方法

    本文提出了各种基于联邦学习的自适应梯度方法以及各种校准方法，比如标准 Adam，p-Adam 和激活函数校准方法等等，为非凸优化中非独立同分布和不平衡数据中的（校准的）联邦 AGMs 提供了第一组理论结果。通过与现有的联邦学习方法 FedAvg、FedMomentum 和 SCAFFOLD 进行了广泛的实验比较，可以看出 AGMs 相对于当前联邦学习方法的优势。

    Sep, 2020

  • 基于偏差梯度估计的分布式动量方法

    通过对分布式动量法中的有偏梯度估计建立非渐近收敛界限，并且在元学习和压缩梯度等特殊情况下证明动量法在训练深度神经网络中比传统有偏梯度下降方法有更快的收敛性能。

    Feb, 2024

  • 语言建模的异步局部 SGD 训练

    本篇论文通过实证研究异步 Local-SGD 对训练语言模型的影响，发现异步 Local-SGD 相较于同步对应方法虽然更频繁地更新模型参数，但需要更多迭代才能达到收敛。主要挑战是在工作者梯度失效时全局参数的动量加速。提出了一种新方法，利用延迟 Nesterov 动量更新并根据计算速度调整工作者的本地训练步骤。在 C4 数据集上评估，该方法在每次更新步骤的困惑度方面与同步 Local-SGD 性能相当，并在墙钟时间方面显著超越其。

    Jan, 2024

  • 非光滑非凸优化中的随机放缩和动量

    通过在每个时间点对更新进行指数分布随机标量缩放的方式，我们提出的方法对于高度不规则的、非凸非光滑的损失函数在优化神经网络训练中表现出最优的收敛保证。这个结果是通过将在线凸优化算法转化为非凸优化算法的一般框架自然得出的。

    May, 2024

  • 分布式深度学习的扩展方法

    该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

    Nov, 2016

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 梯度滞后的间隔感知缓解

    该研究提出了一种名为 Gap-Aware（GA）的新的异步 - 分布式方法，通过线性惩罚梯度滞后度量 Gap 并在大量工作者的情况下表现良好，即使在异步环境中应用 GA，动量仍然有益处。

    Sep, 2019

  • 弹性平均随机梯度下降的深度学习

    在通信约束之下的并行计算环境下研究深度学习的随机优化问题，提出了一种新的基于弹性力的算法，可以使本地变量更加波动以允许更多的探索，同时减少了本地工作者与主节点之间的通信，从而加快了训练速度和提高了效率

    Dec, 2014

  • 异构数据的分布式训练：连接中位数和基于平均值的算法

    本文研究介绍了两种分布式非凸优化算法：signSGD 和 medianSGD，并发现它们在数据异构的情况下是不收敛的。作者提出了一种梯度校正机制来消除梯度的平均值和中位数之间的差异，该方法保留了这些方法的良好性质，并实现了全局收敛。此外，该文中所提的梯度校正技术在其他估计平均值的场合也有独立的应用价值。

    Jun, 2019