Oct, 2013

分散梯度下降的收敛性

PDF
TL;DR本文研究了基于对等网络的去中心化梯度下降方法，分析了参数收敛性与收敛速率，提出了分布式基 pursuit 迭代方法及其收敛性分析。
consensus problemdecentralized gradient descentsymmetric doubly stochastic matrixconvergence analysisdecentralized basis pursuit
发现论文，激发创造
  • 非凸分散学习的统一细化收敛分析

    本研究探讨了解决分布式优化问题的多种方法，包括 EXTRA、Exact-Diffusion/D^2 和梯度跟踪算法等，研究表明这些方法在网络拓扑敏感性上相对于 DSGD 较弱。该研究针对此问题提出了一种统一的分布式算法 SUDA，并建立了 SUDA 的收敛性，实验结果证明该算法对网络拓扑较为鲁棒。

    Oct, 2021

  • 一种精确量子化的分散梯度下降算法

    研究去中心化共识优化中量化对优化带来的影响，并提出了一种基于梯度下降的算法，证明算法在标准强凸和平滑假设下可实现消失的均值解误差，并通过模拟结果验证了理论收敛速度与实际结果的紧密一致性。

    Jun, 2018

  • 快速分布式梯度方法

    本文研究分布式优化问题，提出两种基于 Nesterov 梯度算法的快速分布式梯度算法， 通过对节点间通讯次数和梯度计算次数的分析，证明了这两种算法的收敛速率，并在仿真实验中验证了其有效性。

    Dec, 2011

  • 一种快速的分布式近端梯度法

    该研究提出了一种基于分布式近端梯度方法来优化平均凸函数的方法，每个凸函数都是网络中各个代理的本地目标函数。该方法通过交换估计值来实现每个代理迭代更新全局最小值的目标，并使用 Nesterov-type 加速技术和多个通信步骤进行迭代，表明这种方法的收敛速率为 1/k（其中 k 是代理之间的通信轮数），这比现有的分布式方法的收敛速度更快。数值实验也验证了该方法的卓越收敛速度。

    Oct, 2012

  • ADMM 在分散式一致优化中的线性收敛性

    本文研究了具有强凸局部目标函数的去中心化一致性优化问题，并建立了其线性收敛速率及加速的指导原则，其中采用了交替方向乘子方法 (ADMM) 来解决该问题，该方法可在单个代理处进行迭代计算并在邻居之间进行信息交换。

    Jul, 2013

  • 非凸优化的多智能体投影随机梯度算法收敛性

    本文介绍了一种新的框架用于多智能体系统中分布式约束非凸优化算法的收敛分析，该算法由局部随机梯度下降和 GOSSIP 步骤组成，不需要 GOSSIP 矩阵双随机性，证明了算法收敛于 Karush-Kuhn-Tucker 点集，并适用于在自然广播场景中节省网络能量。

    Jul, 2011

  • 具有线性收敛率的分散近端梯度算法

    本文研究了一类非光滑的分散式多智能体最优化问题，该代理旨在最小化局部强凸光滑组成部分和一个共同的非光滑项。我们提出了一个通用的原始对偶算法框架，统一了许多现有的最先进的算法。我们在非光滑项存在的情况下，证明了所提出的方法向确切解的线性收敛。此外，对于更一般的具有代理特定非光滑术语的问题类，我们展示了使用光滑和非光滑部分的梯度和临界映射的算法类别的线性收敛在最坏的情况下无法实现。我们进一步提供了一个数字反例，展示了某些最先进的算法如何在强凸目标和不同的局部非光滑项的情况下无法线性收敛。

    Sep, 2019

  • 分布式随机次梯度投影算法用于凸优化

    本文考虑了一个分布式的多智能体网络系统，旨在最小化代理的凸目标函数之和，并遵守共同的凸约束集。本文探讨了随机阶梯下降法的收敛性，并提出了一些保证收敛性的条件。

    Nov, 2008

  • 非凸分布式优化

    该研究分析分布式非凸优化问题，针对多智能体网络模型，利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛，并利用扰动动力学证明扰动过程的几乎肯定收敛性。

    Dec, 2015

  • 异构数据本地 GD 初步分析

    本文首次对局部梯度下降进行收敛性分析，用于平滑和凸但任意函数的平均值最小化问题，在联邦学习中涉及隐私数据和异构性。我们证明在低精度情况下，该方法的通信复杂度与梯度下降相同。

    Sep, 2019