May, 2015

一种用于正则化随机优化的异步小批量算法

PDF
TL;DR提出了一种异步迷你批次 (mini-batch) 正则化随机优化算法，可以消除空闲等待并允许工作节点以最大更新速率运行，适当选择步长值可实现 O (1/√T) 和 O (1/T) 的收敛速率，验证了理论结果。
mini-batch optimizationasynchronous algorithmregularized stochastic optimizationconvex regularization functionsdistributed computing infrastructure
发现论文，激发创造
  • 分布式延迟随机优化

    该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

    Apr, 2011

  • 非凸优化的异步并行随机梯度

    本研究探讨了两种异步并行随机梯度下降的实现方式，并证明了它们的收敛率均为 O (1 / 根号 K)，且在工作者数受到限制的情况下可实现线性加速。

    Jun, 2015

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 异步随机凸优化

    本文表明，渐进地，完全异步的随机梯度程 序可以在几乎与标准随机梯度程 序的渐进最优性相同的条件下实现解决凸优化问题的最优（甚至是常数因子）收敛率。大体而言，随机近似方案固有的噪音支配了任何来自异步的噪音。我们还提供了经验性 证据，证明了异步、并行的随机优化方案的强大性能，这表明随机近似问题固有的稳健性允许更快的并行和异步解决方法。

    Aug, 2015

  • 使用 Mini-Batches 的最优分布式在线预测

    本文介绍了一种将串行渐变型在线预测算法转化为分布式算法的方法 —— 分布式 Mini-batch 算法，证明了该算法适用于平滑凸损失函数和随机输入，并明确考虑了分布式环境中节点间通信延迟，同时展示了该算法如何用于解决分布式随机优化问题，并在网络规模的在线预测问题中展示了其优点。

    Dec, 2010

  • 异步随机优化抗任意延迟

    论文考虑带有延迟梯度的随机优化问题，在异步分布式优化中证明了一种简单有效的算法，它可以在统计学意义下达到最优结果。

    Jun, 2021

  • 非凸优化的异步随机拟牛顿 MCMC 算法

    本研究开发了一种适用于分布式和共享内存的异步并行随机 L-BFGS 算法，它利用了随机梯度马尔科夫链蒙特卡罗技术的优势，在非凸优化问题中提供了可行性和收敛性的证明，并在多个实验中验证了该算法的优越性能。

    Jun, 2018

  • 小批量随机 ADMM 方法求解非凸非光滑优化问题

    本文提出了一种用于解决大规模非凸非光滑问题的小批量随机 ADMM 类方法，并将小批量随机梯度方法扩展到非凸 SVRG-ADMM 和 SAGA-ADMM 中。

    Feb, 2018

  • 随时小批量：利用在线分布式优化中的滞后者

    本研究提出了一种名为 Anytime Minibatch 的在线分布式优化方法，其通过多轮共识平均其最小批量梯度来更新主变量，以减轻节点处理速度不均导致的进度缓慢问题。数值结果表明，该方法在 Amazon EC2 上比现有方法快 1.5 倍，在计算节点性能变化较大时，可提高至五倍。

    Jun, 2020