Mar, 2016

分布式随机优化中的数据相关性

PDF
TL;DR研究分布式一致性的随机梯度下降算法，证明收敛速度与网络拓扑的权值矩阵的标准谱间隙和数据的样本协方差矩阵的谱范数有关，证明分布式 SGD 算法在谱范数较小的数据集合上表现更好， 并限制通信量以实现数据相关的收敛速度，通过在更多节点上分散固定数据数量以最小化二次可微损失函数可提高收敛速度。
distributed consensusstochastic gradient descentconvergence ratespectral normdata-dependent
发现论文，激发创造
  • 随机梯度下降的数据相关稳定性

    我们为随机梯度下降（SGD）建立了数据相关的算法稳定性概念，并利用它来开发新的泛化界限；我们的结果表明，在凸和非凸问题中，预筛选初始化是稳定 SGD 的一种简单数据驱动策略，并允许我们展示出乐观的泛化界限。

    Mar, 2017

  • 超越谱隙：拓扑在分散式学习中的作用

    研究了具有罕见连接的分布式机器学习优化问题，提出了理论解释，解释了合作可以获得比训练单独更大的学习率，并描述了不同图形拓扑的相对优点。

    Jun, 2022

  • 具有线性加速的分散非参数回归的最优统计速率

    本研究采用分布式梯度下降来分析多智能体分散非参数回归，从精确损失函数的角度来研究学习性能，当 i.i.d 样本分配给智能体时，我们发现如果智能体拥有足够多的样本数量并且沟通延迟足够小，则分布式梯度下降在带最优统计速率的同时取得线性加速，并且其所需迭代次数与网络中所有样本一起运行的梯度下降具有相同数量级的迭代次数。

    May, 2019

  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 分布式延迟随机优化

    该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

    Apr, 2011

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 拓扑感知的去中心化 SGD 的泛化

    研究了分散随机梯度下降（D-SGD）算法的算法稳定性和分布特性，证明了 D-SGD 认为的共识模型具有稳定性，证明了 D-SGD 具有一般化的可行性。D-SGD 的可行性与谱间隙呈正相关，并且可以解释为什么最初的培训阶段的共识控制可以确保更好的一般化，这是 vanilla-D-SGD 的拓扑感知广义性的第一个工作。

    Jun, 2022

  • 具有动态拓扑和本地更新的去中心化 SGD 的统一理论

    这篇论文介绍了一种统一的收敛性分析方法，涵盖了许多分散式随机梯度下降方法，具有计算成本低、数据本地性和沟通效率等优点，并包括本地随机梯度下降更新和自适应网络拓扑上的同步和成对传递更新，我们推导了光滑（凸和非凸）问题的通用收敛率，并在不同的数据分布和 iid 数据设置下进行了插值。

    Mar, 2020

  • 分布式随机子梯度下降的图依赖性隐式正则化

    提出了针对多智能体学习的分布式随机次梯度下降（Distributed SGD）的依赖于图形的隐式正则化策略。该方法通过适当地依赖于图形拓扑结构，通过隐式正则化（步长调整和提前停止）保留了中心化统计保证。该方法避免了明确正则化，尤其适用于分布式方法。同时，我们还建立了图不关联的分布式 SGD 的泛化界限和与图关联的优化界限，证明了我们的理论预测了真实情况。

    Sep, 2018

  • 分布式随机梯度追踪方法

    本文研究了分布式多智能体优化问题，其中每个智能体拥有一个光滑和强凸的本地代价函数。在仅具有本地代价函数梯度的无偏估计时，我们提出了一种分布式随机梯度跟踪方法（DSGT）和一种类似于 Gossip 的随机梯度跟踪方法（GSGT），并展示了这些方法对大规模网络的可比性能和通信成本的差异。

    May, 2018