Jun, 2011

HOGWILD!: 无锁并行随机梯度下降的方法

PDF
TL;DR本文研究的主要问题是如何并行化 Stochastic Gradient Descent 算法，提出了一种称为 HOGWILD！的更新策略，可以在没有锁定的情况下实现并行计算，并展示了该策略在稀疏优化问题上接近最优的收敛率。实验证明 HOGWILD！的表现比使用锁的并行化方案要高出一个数量级。
发现论文，激发创造
  • 驯服野兽：Hogwild! 风格算法的统一分析

    本文通过马丁戈尔分析方法，研究了异步执行和低精度优化技术在随机梯度下降算法中的应用，包括推导了 Hogwild! 收敛速率、分析了非凸矩阵问题的异步 SGD 算法，以及设计了 Buckwild! 算法，并在现代硬件上进行了实验。

    Jun, 2015

  • SGD 和 Hogwild!：在无需有界梯度假设的情况下收敛

    该研究论文讨论了随机梯度下降算法的收敛性分析，提出了一种在异步并行环境下使用降低学习率机制的算法，并证明了其收敛性。

    Feb, 2018

  • 异步共享内存中随机梯度下降算法的收敛性

    本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

    Mar, 2018

  • 快速异步并行随机梯度下降

    本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

    Aug, 2015

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 异步并行随机梯度下降 - 可扩展分布式机器学习算法的数值核心

    本文提出了一种利用异步单向通信范例的新型并行更新算法 ASGD，相较于现有方法，ASGD 具有更快（或至少相当）的收敛速度，接近于线性的缩放以及稳定的准确性，在大规模机器学习问题中具有应用前景。

    May, 2015

  • 非凸优化的异步并行随机梯度

    本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。

    Jun, 2015

  • 随机、稀疏、非光滑梯度的自适应学习率和并行化

    本文针对随机梯度下降法（SGD）调参的问题，提出了一个不需调参的自动降低学习速率的方法，并通过在迭代中解决并行化、更新方法、非光滑损失函数以及 Hessian 矩阵估计等问题，提高了算法性能。最终算法具有线性复杂度和无需超参数。

    Jan, 2013

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 随机增量方法的改进异步并行优化分析

    探究计算机体系结构和日益增长的数据集规模增大了异步并行优化算法在机器学习领域中的必要性，以及解决其理论分析的难题，提出一种新的 “扰动迭代” 框架，通过对三种不同的异步并行优化算法的实验分析，得出以往的假设存在问题，提高了算法的理论性能，以及研究了理论分析中的重要参数 “重叠常数” 与之前猜想不同，其复杂性更高。

    Jan, 2018