本文研究了一种分布式随机逼近算法,可应用于去中心化的估算、优化、控制或计算。该算法包含本地步骤和交换步骤,通过微小的步长逼近算法和局部加权平均计算。通过研究约束子空间内平均场的 Lyapunov 函数和随机权重矩阵的收缩性质,建立估计向共识收敛的证明,并进行了二阶分析和多项式平均版本的研究。
Mar, 2012
提出了新的基于对偶平均的聚众算法,用于解决分散点之间的成对函数最小化问题,该算法的灵活性足以处理最优化问题的约束和规则的变体,并通过实证仿真验证了其实用性。
Jun, 2016
本文研究了一种名为 local distributed SGD 的分布式优化算法,其中数据在计算节点之间进行划分,计算节点进行本地更新,定期交换模型以进行平均化,并对其进行收敛分析,结果表明它可以大大降低通信成本并且适用性比当前理论推测的更为广泛,同时提出了一种自适应同步方案,验证理论和方案的实验结果在 AWS EC2 云和内部 GPU 集群上运行良好。
Oct, 2019
本文研究了一种名为地理流言算法的多跳通信网络消息传递方案,通过使用行程信息与 Markov 链混合时间不等式技术对随机化消息传递算法进行性能分析,提高了流言算法的效率。
Feb, 2008
我们提出了一种耦合的分布式随机逼近算法来解决具有不完美信息特征的参数化分布式优化问题,对该算法的收敛性进行了定量分析,并证明了决策变量的均方误差受网络连接性和迭代次数的影响,此外,对达到主导收敛速率所需的临时迭代次数进行了分析,并通过数值实验验证了理论结果。
Apr, 2024
利用地理信息和简单的重抽样方法,我们为在广播中使用地理路由算法,提出并分析了一种替代的八卦传播方案,以此证明比以前建议的八卦协议获得了实质性的收益。
Sep, 2007
该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率:中央集权和去中心化通信。对于中央集权算法,作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法,作者提供了第一个最优算法 MSDA 方法,并通过最小二乘回归和分类的逻辑回归问题验证了其效率。
Feb, 2017
本文研究了分布式网络中去中心化优化的问题,尤其是基于双重平均子梯度的分布式算法及其收敛速度与网络大小和拓扑结构的关系,同时探讨了算法收敛和网络结构限制之间的关系,并证明了我们算法所需的迭代次数与网络谱隙成反比例关系。
May, 2010
分析了两种用于大规模数据集的分布式统计优化的通信有效算法,一种是标准平均法,另一种是基于适当形式的自助子抽样的新算法,实验结果表明两种方法都有效地解决了中文 SoSo 搜索引擎的广告预测问题。
Sep, 2012
本文提出了一种基于优化的分布参数估计和观察性社交学习方法,演示了如何使用分布式,在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计,并证明了代理最终可以使用随机瓦解方案学习真实参数。
Sep, 2013