Jun, 2015

驯服野兽：Hogwild! 风格算法的统一分析

PDF
TL;DR本文通过马丁戈尔分析方法，研究了异步执行和低精度优化技术在随机梯度下降算法中的应用，包括推导了 Hogwild! 收敛速率、分析了非凸矩阵问题的异步 SGD 算法，以及设计了 Buckwild! 算法，并在现代硬件上进行了实验。
stochastic gradient descentmartingale-based analysisasynchronous sgd algorithmsreduced precisionruntime performance
发现论文，激发创造
  • SGD 和 Hogwild!：在无需有界梯度假设的情况下收敛

    该研究论文讨论了随机梯度下降算法的收敛性分析，提出了一种在异步并行环境下使用降低学习率机制的算法，并证明了其收敛性。

    Feb, 2018

  • HOGWILD!: 无锁并行随机梯度下降的方法

    本文研究的主要问题是如何并行化 Stochastic Gradient Descent 算法，提出了一种称为 HOGWILD！的更新策略，可以在没有锁定的情况下实现并行计算，并展示了该策略在稀疏优化问题上接近最优的收敛率。实验证明 HOGWILD！的表现比使用锁的并行化方案要高出一个数量级。

    Jun, 2011

  • 随机梯度算法的新收敛性特点

    本文对随机梯度下降法（SGD）的收敛性进行了分析，提出了一种新的假设随机梯度较真实梯度的范数更小的分析方法，并在多个情境下证明了 SGD 的收敛性，拓展了当前一类可达到收敛性的学习率。

    Nov, 2018

  • AsGrad: 异步 SGD 算法的锐利统一分析

    异步类型算法在异构设置中被分析，提出了统一的收敛理论，并介绍了基于工人洗牌的新型异步方法，数值评估支持理论发现并展示了该方法的良好实际性能。

    Oct, 2023

  • 异步共享内存中随机梯度下降算法的收敛性

    本文研究并发训练中 Stochastic Gradient Descent 算法的收敛性，提出了在异步共享内存模型下的新收敛界限，同时指出了最大延迟和算法收敛速度之间的基本权衡关系。

    Mar, 2018

  • 随机梯度算法的变分分析

    本文介绍如何将随机梯度下降算法与调整参数应用于概率建模中的近似后验推断，通过最小化数据生成分布与目标后验分布之间的 KL 散度作为理论框架，让 SGD 有效地作为贝叶斯推断的一种方法，发现其可以成为概率模型优化超参数的一种新途径。

    Feb, 2016

  • 异步随机优化的扰动迭代分析

    介绍和分析了一种基于随机优化算法和有界噪声扰动输入的方法，用于分析异步实现随机优化算法的统一方法，应用该方法开发和分析了一种新的稀疏随机方差降低梯度算法 KroMagnon，并在 16 核机器上进行了实验，表明稀疏和并行化版本的 SVRG 算法在某些情况下比标准 SVRG 算法快了四个数量级。

    Jul, 2015

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 快速异步并行随机梯度下降

    本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

    Aug, 2015

  • 非凸问题通用逐步学习方法，收敛于平均解

    本文提出了一个通用的分级优化框架，用于求解一类广泛的非平滑非凸问题，采用随机凸优化算法，如准随机梯度下降和 AdaGrad 以及分级降低步长方式，并返回平均解决方案。作者的理论结果表明分级 AdaGrad 的自适应性，从而揭示其对于稀疏随机梯度问题比分级 SGD 更快收敛的见解，并在经验研究中提高了现有 SGD 和 AdaGrad 实现的泛化性能。

    Aug, 2018