MMDec, 2018

分布式随机梯度的连续时间分析

PDF
TL;DR分析了同步对分布式随机梯度算法的影响。通过模拟生物群体感应模型，量化了同步如何显着减少分布式代理和它们的空间平均值感受到的噪声幅度，从而降低了随机梯度逼近所施加的损失函数的平滑性，并通过对模型非凸目标的模拟，证明耦合可以稳定更高的噪声水平并提高收敛性。
synchronizationdistributed stochastic gradient algorithmsnoise reductionconvergencequorum sensing
发现论文，激发创造
  • 弹性平均随机梯度下降的深度学习

    在通信约束之下的并行计算环境下研究深度学习的随机优化问题，提出了一种新的基于弹性力的算法，可以使本地变量更加波动以允许更多的探索，同时减少了本地工作者与主节点之间的通信，从而加快了训练速度和提高了效率

    Dec, 2014

  • 周期平均的本地随机梯度下降：更紧密的分析和自适应同步

    本文研究了一种名为 local distributed SGD 的分布式优化算法，其中数据在计算节点之间进行划分，计算节点进行本地更新，定期交换模型以进行平均化，并对其进行收敛分析，结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛，同时提出了一种自适应同步方案，验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。

    Oct, 2019

  • 强健且通信高效的协作学习

    本文提出了一种名为 QuanTimed-DSGD 的新型分布式渐进优化算法，通过调整每个节点在算法每一步中本地计算梯度的截止时间和节点间交换量化本地模型的机制来解决分布式计算中经常遇到的滞后和通信效率低的问题，数值评估结果表明该算法与最先进的分布式优化方法相比，运行时间可提速至多 3 倍。

    Jul, 2019

  • 分布式延迟随机优化

    该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

    Apr, 2011

  • 荧光素感应网络的全局收敛

    本文将细菌族群感应中介质传递的现象拓展到非线性动力系统的组织中，分析节点间通过共享动态量进行交流和耦合的同步现象，并给出了系统生物学中的实现例子。

    Mar, 2010

  • 分布式随机梯度追踪方法

    本文研究了分布式多智能体优化问题，其中每个智能体拥有一个光滑和强凸的本地代价函数。在仅具有本地代价函数梯度的无偏估计时，我们提出了一种分布式随机梯度跟踪方法（DSGT）和一种类似于 Gossip 的随机梯度跟踪方法（GSGT），并展示了这些方法对大规模网络的可比性能和通信成本的差异。

    May, 2018

  • 耦合分布式随机逼近的失配优化率分析

    我们提出了一种耦合的分布式随机逼近算法来解决具有不完美信息特征的参数化分布式优化问题，对该算法的收敛性进行了定量分析，并证明了决策变量的均方误差受网络连接性和迭代次数的影响，此外，对达到主导收敛速率所需的临时迭代次数进行了分析，并通过数值实验验证了理论结果。

    Apr, 2024

  • 异步分散学习算法中的量化和本地更新

    研究异步传播模型下去中心化优化算法的收敛性，提出一种称为 SwarmSGD 的变量 SGD 算法，使用多维负载平衡过程连接进行分析，并在超级计算环境中表现出比以前的去中心化算法和大批次 SGD 更好的性能。

    Oct, 2019

  • 强连通网络上带梯度跟踪的分布式随机优化

    本文针对代理节点组成的网络上局部代价函数的最小化问题，提出了一种使用异步算法，通过辅助变量迭代逼近全局代价函数的梯度的算法，并使用行和列马尔科夫矩阵来保证算法的一致和最优性。同时，通过数值仿真，验证了该算法的可用性。

    Mar, 2019

  • 分布式随机优化中的数据相关性

    研究分布式一致性的随机梯度下降算法，证明收敛速度与网络拓扑的权值矩阵的标准谱间隙和数据的样本协方差矩阵的谱范数有关，证明分布式 SGD 算法在谱范数较小的数据集合上表现更好， 并限制通信量以实现数据相关的收敛速度，通过在更多节点上分散固定数据数量以最小化二次可微损失函数可提高收敛速度。

    Mar, 2016