Jun, 2020

分布式非凸优化的原始对偶随机梯度下降算法

PDF
TL;DR本文提出了一种适用于任意连接通信网络和任何光滑（可能是非凸的）代价函数的分布式原始 - 对偶随机梯度下降（SGD）算法，证明了该算法实现了常数参数的输出线性收敛到全局最优的邻域并展示了实验结果与基线集中式 SGD 和最近提出的分布式 SGD 算法的比较效率。
distributed optimizationprimal-dual stochastic gradient descentnonconvex cost functionspolyak-lojasiewicz conditionmachine learning
发现论文，激发创造
  • 分布式优化网络中最优算法的双重方法

    本研究旨在研究分布式凸优化问题的双重算法，提出一种基于适当形式化原始问题的对偶的方法，包括模拟通信限制的图，并提出分布式算法，其效率与中心化算法相同（差异不超过常数和对数因子），并且与网络的谱特性有关的最优成本。

    Sep, 2018

  • 局部随机梯度下降上升：收敛分析与通信效率

    本文提出了一种名为 local SGDA 的算法来缓解分布式学习中的通信开销，可在广泛的分布式 minmax 优化问题下实现可证明的收敛性和更少的通信次数。

    Feb, 2021

  • 网络中非光滑分布式优化的最优算法

    研究分布式优化的算法，提出了多步原始 - 对偶（MSPD）算法及其收敛率，证明了在局部正则性假设下，通信网络的结构仅对 $O (1/t)$ 的次要项产生影响。同时，提出了基于局部平滑的分布式随机平滑（DRS）算法在全局正则性假设下，其收敛速度接近于最优收敛速度，是一种简单而有效的算法。

    Jun, 2018

  • 去中心化在线随机非凸优化的收敛分析改进

    本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足 Polyak-Lojasiewics 条件的全局非凸函数，我们确定了 GT-DSGD 的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。

    Aug, 2020

  • 自适应 SGD 分布式随机优化

    本文提出了一种高效的分布式随机优化方法，通过结合适应性与方差约减技术，从而实现任何串行在线学习算法的并行计算，能够在不需要光滑参数的先验知识的情况下实现最优收敛速率，同时通过 Spark 分布式框架的实现能够对大规模逻辑回归问题进行高效处理。

    Feb, 2018

  • 非凸分布式优化

    该研究分析分布式非凸优化问题，针对多智能体网络模型，利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛，并利用扰动动力学证明扰动过程的几乎肯定收敛性。

    Dec, 2015

  • 基于原始对偶框架的去中心化随机优化

    本文提出了一种基于原始 - 对偶框架的分布式优化算法，无需使用难以构建的双重随机混合矩阵，通过维护对偶变量来跟踪相邻节点之间的差异，使用这种方法构建的分布式算法比采用梯度跟踪的算法具有更好的性能。

    Dec, 2020

  • 非凸分散学习的统一细化收敛分析

    本研究探讨了解决分布式优化问题的多种方法，包括 EXTRA、Exact-Diffusion/D^2 和梯度跟踪算法等，研究表明这些方法在网络拓扑敏感性上相对于 DSGD 较弱。该研究针对此问题提出了一种统一的分布式算法 SUDA，并建立了 SUDA 的收敛性，实验结果证明该算法对网络拓扑较为鲁棒。

    Oct, 2021

  • 网络中平滑且强凸分布式优化的最优算法

    该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

    Feb, 2017

  • 加速分布式 Nesterov 梯度下降

    本文提出了一种通过本地计算和通信来优化全局函数的分布式优化方法，并探讨了其在不同情形下的收敛速度。

    May, 2017