May, 2015

异步并行随机梯度下降 - 可扩展分布式机器学习算法的数值核心

PDF
TL;DR本文提出了一种利用异步单向通信范例的新型并行更新算法 ASGD，相较于现有方法，ASGD 具有更快（或至少相当）的收敛速度，接近于线性的缩放以及稳定的准确性，在大规模机器学习问题中具有应用前景。
machine learningstochastic gradient descentparallelizationasynchronousconvergence
发现论文，激发创造
  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 快速异步并行随机梯度下降

    本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

    Aug, 2015

  • 异步分散并行随机梯度下降

    本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

    Oct, 2017

  • 异步共享内存中随机梯度下降算法的收敛性

    本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

    Mar, 2018

  • 非凸优化的异步并行随机梯度

    本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。

    Jun, 2015

  • 分布式深度学习的同步异步随机梯度下降算法

    本文提出了一种改进的异步 SGD 算法，通过梯度陈旧程度对学习速率进行调节，以提高其稳定性和收敛速度，在 CIFAR10 和 Imagenet 数据集上进行了实验验证，并证明了该算法的优越性。

    Nov, 2015

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 并行随机梯度下降的混合方法

    我们提出了一种介于同步和异步方法之间的混合数据并行性方法，使用这两种方法训练神经网络，通过适当选择阈值函数来逐渐从异步转为同步的参数聚合，我们证明在一定时间范围内，我们的混合方法优于异步和同步方法。

    Jun, 2024

  • AsGrad: 异步 SGD 算法的锐利统一分析

    异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。

    Oct, 2023