Mar, 2012

分布式随机逼近算法的性能

PDF
TL;DR本文研究了一种分布式随机逼近算法，可应用于去中心化的估算、优化、控制或计算。该算法包含本地步骤和交换步骤，通过微小的步长逼近算法和局部加权平均计算。通过研究约束子空间内平均场的 Lyapunov 函数和随机权重矩阵的收缩性质，建立估计向共识收敛的证明，并进行了二阶分析和多项式平均版本的研究。
distributed stochastic approximation algorithmdecentralized estimationoptimizationcontrolcomputing
发现论文，激发创造
  • 高效分布式在线预测和随机优化：近似分布式平均方法

    研究分布式方法用于在线预测和随机优化，并提出了基于 gossip 的优化方法以实现最优的后悔界限。

    Mar, 2014

  • 耦合分布式随机逼近的失配优化率分析

    我们提出了一种耦合的分布式随机逼近算法来解决具有不完美信息特征的参数化分布式优化问题，对该算法的收敛性进行了定量分析，并证明了决策变量的均方误差受网络连接性和迭代次数的影响，此外，对达到主导收敛速率所需的临时迭代次数进行了分析，并通过数值实验验证了理论结果。

    Apr, 2024

  • 分布式延迟随机优化

    该文主要研究基于梯度的优化算法中的延迟随机梯度信息的收敛性，以及如何应用于分布式优化算法中克服通信瓶颈和同步要求的问题，结果表明在平滑随机问题中，延迟是渐近可以忽略的，且能达到最优收敛效果。

    Apr, 2011

  • 分布式随机次梯度投影算法用于凸优化

    本文考虑了一个分布式的多智能体网络系统，旨在最小化代理的凸目标函数之和，并遵守共同的凸约束集。本文探讨了随机阶梯下降法的收敛性，并提出了一些保证收敛性的条件。

    Nov, 2008

  • 非凸优化的多智能体投影随机梯度算法收敛性

    本文介绍了一种新的框架用于多智能体系统中分布式约束非凸优化算法的收敛分析，该算法由局部随机梯度下降和 GOSSIP 步骤组成，不需要 GOSSIP 矩阵双随机性，证明了算法收敛于 Karush-Kuhn-Tucker 点集，并适用于在自然广播场景中节省网络能量。

    Jul, 2011

  • DSA：去中心化双随机平均梯度下降算法

    该论文提出了分布式双随机平均梯度算法 (DSA) 来解决大规模机器学习问题，具有线性收敛特性，相对于其他分散式随机优化方法，可以减少收敛时间和处理的功能向量数量。

    Jun, 2015

  • 在线多智能体优化的不需要共识的临近性

    本文提出一种基于随机鞍点算法的分布式算法，以解决多智能体环境下的随机优化问题，该算法包括在线共识优化作为特例，并应用于传感器网络中的相关随机场顺序估计问题和在线源定位问题。

    Jun, 2016

  • 网络中平滑且强凸分布式优化的最优算法

    该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

    Feb, 2017

  • AdaDelay: 延迟自适应的分布式随机凸优化

    该研究探讨并分析了实际分布式计算网络情况下的延迟梯度模型，允许参数更新对实际延迟进行敏感处理以产生更大的步长，从而在保持相同渐近复杂度的同时实现更快收敛，针对包含数十亿个数据和特征的真实数据集展开分布式实验，并取得鼓舞人心的改进。

    Aug, 2015

  • 正态逼近中的分布统计估计和收敛速度

    本文提出了一类新的分布式统计估计算法，利用分治策略实现，表明分治策略的一个关键利益是健壮性，并建立了这些分布式算法的性能与正态逼近的收敛率之间的联系，并证明了非渐近偏差保证和极限定理，针对中位数估计和最大似然估计进行了例证和性能保证

    Apr, 2017