MMMay, 2018

分布式随机梯度追踪方法

PDF
TL;DR本文研究了分布式多智能体优化问题，其中每个智能体拥有一个光滑和强凸的本地代价函数。在仅具有本地代价函数梯度的无偏估计时，我们提出了一种分布式随机梯度跟踪方法（DSGT）和一种类似于 Gossip 的随机梯度跟踪方法（GSGT），并展示了这些方法对大规模网络的可比性能和通信成本的差异。
distributed optimizationmulti-agent networksstochastic gradient trackingsmooth and strongly convex functionscommunication cost
发现论文，激发创造
  • 分布式在线学习的优化梯度跟踪

    本文提出了一种基于广义梯度跟踪（GGT）框架的去中心化在线学习算法，并使用新的半定编程分析理论对其性能进行了理论分析和优化，进而得到实际数据集上的优异表现。

    Jun, 2023

  • 去中心化在线随机非凸优化的收敛分析改进

    本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足 Polyak-Lojasiewics 条件的全局非凸函数，我们确定了 GT-DSGD 的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。

    Aug, 2020

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 强连通网络上带梯度跟踪的分布式随机优化

    本文针对代理节点组成的网络上局部代价函数的最小化问题，提出了一种使用异步算法，通过辅助变量迭代逼近全局代价函数的梯度的算法，并使用行和列马尔科夫矩阵来保证算法的一致和最优性。同时，通过数值仿真，验证了该算法的可用性。

    Mar, 2019

  • 随机网络上的随机近端梯度共识

    提出了一种动态随机近端梯度共识（DySPGC）算法，旨在解决在具有随机时间变化的多智能体网络上解决凸随机优化问题，该算法对于静态和某些随机时间变化的网络均有效，并且能够收敛到全局最优解。

    Nov, 2015

  • 分布式随机次梯度投影算法用于凸优化

    本文考虑了一个分布式的多智能体网络系统，旨在最小化代理的凸目标函数之和，并遵守共同的凸约束集。本文探讨了随机阶梯下降法的收敛性，并提出了一些保证收敛性的条件。

    Nov, 2008

  • 非凸优化的多智能体投影随机梯度算法收敛性

    本文介绍了一种新的框架用于多智能体系统中分布式约束非凸优化算法的收敛分析，该算法由局部随机梯度下降和 GOSSIP 步骤组成，不需要 GOSSIP 矩阵双随机性，证明了算法收敛于 Karush-Kuhn-Tucker 点集，并适用于在自然广播场景中节省网络能量。

    Jul, 2011

  • 分散式随机非凸优化问题的混合方差缩减方法

    本文研究了分散式随机优化的网络问题，提出了一种新的单循环分散式混合降低方差随机梯度下降算法 GT-HSGD，并度量了其优化性能。

    Feb, 2021

  • 加速分布式聚合优化

    本文研究了在网络中分布式汇聚优化问题，提出了结合重球和 Nesterov 加速方法的分布式汇聚梯度跟踪的两个新算法 DAGT-HB 和 DAGT-NES，分析这两个算法在目标函数光滑，强凸且参数选择在一定范围内时，能以全局 R 线性收敛速度收敛到最优解，通过最优放置问题的数值实验验证了算法的有效性和优越性。

    Apr, 2023

  • 分布式随机梯度跟踪算法降低方差用于非凸优化

    本文提出了一种基于分布式随机算法的方差约简方法，以解决在多代理网络中进行大规模非凸有限和优化问题，提出了 GT-VR 算法，并证明了其收敛性和效率优于一些现有的一阶方法。

    Jun, 2021