本文介绍了一种新的分布式梯度方法,称为 “推 - 拉梯度方法”,利用两种不同的图形实现代理之间的信息交换,并在同步和异步随机传递的情况下,线性地收敛于重要的自治网络。
Oct, 2018
该研究分析分布式非凸优化问题,针对多智能体网络模型,利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛,并利用扰动动力学证明扰动过程的几乎肯定收敛性。
Dec, 2015
本文研究了通过节点之间的交流来进行分布式优化的问题,提出了一种基于广播的算法,即 subgradient-push algorithm, 计算其收敛速率.
Mar, 2013
该研究提出了一种基于分布式近端梯度方法来优化平均凸函数的方法,每个凸函数都是网络中各个代理的本地目标函数。该方法通过交换估计值来实现每个代理迭代更新全局最小值的目标,并使用 Nesterov-type 加速技术和多个通信步骤进行迭代,表明这种方法的收敛速率为 1/k(其中 k 是代理之间的通信轮数),这比现有的分布式方法的收敛速度更快。数值实验也验证了该方法的卓越收敛速度。
Oct, 2012
本文介绍了一种新的框架用于多智能体系统中分布式约束非凸优化算法的收敛分析,该算法由局部随机梯度下降和 GOSSIP 步骤组成,不需要 GOSSIP 矩阵双随机性,证明了算法收敛于 Karush-Kuhn-Tucker 点集,并适用于在自然广播场景中节省网络能量。
Jul, 2011
本研究提出了一种异步、分散的共识优化算法,可在没有全局时序同步的情况下,利用本地计算和信息传递,在有限延迟和随机代理假设下收敛于精确解。
Dec, 2016
本文研究了分布式优化中最近提出的 subgradient-push 方法在时变有向图上的收敛速度,并证明在强凸函数和具有 Lipschitz 梯度的情况下,即使只有随机梯度样本可用,其收敛速度为 O ((ln t)/t),这比先前已知的(一般)凸函数的 O ((ln t)/√t) 更快。
Jun, 2014
该研究开发了两种分布式算法(Prox-DGD 和 DGD-ATC)的异步版本,用于解决无向网络上的共识优化问题,并且与其他算法相比,我们的算法可以使用与延迟无关的步长来收敛到它们的同步对应算法的固定点集。该研究还在部分异步和完全异步情况下,为强凸和弱凸问题建立了收敛保证,并展示了两种异步方法的收敛速度能够适应实际异步程度而不受最坏情况的限制。数值实验表明我们的异步算法具有很强的实际性能。
Dec, 2023
本文研究了一类非光滑的分散式多智能体最优化问题,该代理旨在最小化局部强凸光滑组成部分和一个共同的非光滑项。我们提出了一个通用的原始对偶算法框架,统一了许多现有的最先进的算法。我们在非光滑项存在的情况下,证明了所提出的方法向确切解的线性收敛。此外,对于更一般的具有代理特定非光滑术语的问题类,我们展示了使用光滑和非光滑部分的梯度和临界映射的算法类别的线性收敛在最坏的情况下无法实现。我们进一步提供了一个数字反例,展示了某些最先进的算法如何在强凸目标和不同的局部非光滑项的情况下无法线性收敛。
Sep, 2019
本研究提出分布式算法,可用于在具有时间变化连接性的网络上,将多个代理的估计与特定值对齐,并着重研究约束问题的实现与收敛性分析。该算法可用于处理一致性问题或优化问题,其中全局目标函数为局部客体函数的组合。最终,该算法表现出了良好的收敛率与收敛效果。
Feb, 2008