异步和延迟的去中心化一致性优化
该研究开发了两种分布式算法(Prox-DGD 和 DGD-ATC)的异步版本,用于解决无向网络上的共识优化问题,并且与其他算法相比,我们的算法可以使用与延迟无关的步长来收敛到它们的同步对应算法的固定点集。该研究还在部分异步和完全异步情况下,为强凸和弱凸问题建立了收敛保证,并展示了两种异步方法的收敛速度能够适应实际异步程度而不受最坏情况的限制。数值实验表明我们的异步算法具有很强的实际性能。
Dec, 2023
我们提出了一种称为 DT-GO 的新颖基于八卦的算法,它在不需要了解节点出度的情况下适用于一般的有向网络,对于拥有延迟或有限确认能力的网络。我们推导了凸和非凸目标的收敛速率,并证明我们的算法实现了与集中式随机梯度下降相同的复杂度顺序,也就是说,图的拓扑结构和延迟效应只影响高阶项。此外,我们扩展了分析以适应时变网络拓扑。通过数值仿真来支持我们的理论发现。
May, 2024
该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性,以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题,结果表明在平滑随机问题中,延迟是渐近可以忽略的,且能达到最优收敛效果。
Apr, 2011
本研究提出分布式算法,可用于在具有时间变化连接性的网络上,将多个代理的估计与特定值对齐,并着重研究约束问题的实现与收敛性分析。该算法可用于处理一致性问题或优化问题,其中全局目标函数为局部客体函数的组合。最终,该算法表现出了良好的收敛率与收敛效果。
Feb, 2008
本研究提出并分析了一种自适应二元平均方案,解决多智能体在延迟和异步性存在情况下的联合在线学习问题,并提供了一个适用于完全去中心化和异步环境中的自适应学习策略及优化方案。
Dec, 2020
该研究探讨并分析了实际分布式计算网络情况下的延迟梯度模型,允许参数更新对实际延迟进行敏感处理以产生更大的步长,从而在保持相同渐近复杂度的同时实现更快收敛,针对包含数十亿个数据和特征的真实数据集展开分布式实验,并取得鼓舞人心的改进。
Aug, 2015
本文提出一种基于随机鞍点算法的分布式算法,以解决多智能体环境下的随机优化问题,该算法包括在线共识优化作为特例,并应用于传感器网络中的相关随机场顺序估计问题和在线源定位问题。
Jun, 2016
本文提出了一种异步多代理分布式优化算法,每个代理都有一个局部的强凸平滑函数,共同目标是达成对将代理的局部函数之和最小化的参数进行共识。实验结果表明,与同步一阶方法相比,Asynchronous Gradient-Push 算法收敛速度更快,更具鲁棒性,并且随着网络规模的增大,它的扩展性更好。
Mar, 2018
机器学习中分布式部署的推理算法,利用异步通信提高计算速度并降低通信开销,通过马尔可夫链蒙特卡洛采样实现局部计算,理论上量化收敛速度,通过模拟和真实数据集的实验验证算法的有效性。
Nov, 2023
本文提出了一种新的去中心化一阶方法解决在多代理网络上的非光滑和随机优化问题,其中主要贡献为提出了基于去中心化通讯滑动算法的去中心化原始 - 对偶算法,以解决在去中心化优化中通讯瓶颈。
Jan, 2017