May, 2010

分布式优化的双重平均：收敛分析和网络扩展

PDF
TL;DR本文研究了分布式网络中去中心化优化的问题，尤其是基于双重平均子梯度的分布式算法及其收敛速度与网络大小和拓扑结构的关系，同时探讨了算法收敛和网络结构限制之间的关系，并证明了我们算法所需的迭代次数与网络谱隙成反比例关系。
decentralized optimizationlocal convex functionsdual averagingnetwork topologyconvergence rates
发现论文，激发创造
  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019

  • 分布式优化网络中最优算法的双重方法

    本研究旨在研究分布式凸优化问题的双重算法，提出一种基于适当形式化原始问题的对偶的方法，包括模拟通信限制的图，并提出分布式算法，其效率与中心化算法相同（差异不超过常数和对数因子），并且与网络的谱特性有关的最优成本。

    Sep, 2018

  • 双向函数去中心化优化的八卦双平均算法

    提出了新的基于对偶平均的聚众算法，用于解决分散点之间的成对函数最小化问题，该算法的灵活性足以处理最优化问题的约束和规则的变体，并通过实证仿真验证了其实用性。

    Jun, 2016

  • 分布式次梯度方法与量化效应

    针对在代理网络中要通过本地计算和通信协作优化个体目标函数和的求和，我们使用平均算法开发了分布式次梯度方法，同时也考虑了时间变化和量化信息的影响并给出了收敛率的保证。

    Mar, 2008

  • 不断增长连接的演化网络上的加速分布式对偶平均算法

    探讨加速多智能体网络中分布式优化问题的做法，通过边逐步添加来扩展分布式对偶平均（DDA）次梯度算法，研究网络拓扑设计对 DDA 收敛速度的影响，提出了一个有效的设计网络拓扑的方法，并通过定量评估 DDA 加速效果的理论预测和数值实验，证明了提出算法的实用性。

    Apr, 2017

  • 分布式原 - 对偶优化中的加法与平均法

    本文介绍了一种分布式优化方法 ——CoCoA+，解决了大规模机器学习中通信瓶颈和全局参数的更新问题，使得非光滑的凸损失函数以更快的速度达到更优的性能表现。

    Feb, 2015

  • 网络中平滑且强凸分布式优化的最优算法

    该论文在两个设置中确定了强凸和光滑分布式优化的最优收敛速率：中央集权和去中心化通信。对于中央集权算法，作者表明分布式 Nesterov 加速梯度下降算法是最优的。对于基于流言蜚语 (gossip) 的去中心化算法，作者提供了第一个最优算法 MSDA 方法，并通过最小二乘回归和分类的逻辑回归问题验证了其效率。

    Feb, 2017

  • 使用分布式双均值在网络中指数级快速进行参数估计

    本文提出了一种基于优化的分布参数估计和观察性社交学习方法，演示了如何使用分布式，在线的 Nesterov 双平均法解决纯粹依靠本地信息的估计，并证明了代理最终可以使用随机瓦解方案学习真实参数。

    Sep, 2013

  • 高效分布式在线预测和随机优化：近似分布式平均方法

    研究分布式方法用于在线预测和随机优化，并提出了基于 gossip 的优化方法以实现最优的后悔界限。

    Mar, 2014

  • 非凸分散学习的统一细化收敛分析

    本研究探讨了解决分布式优化问题的多种方法，包括 EXTRA、Exact-Diffusion/D^2 和梯度跟踪算法等，研究表明这些方法在网络拓扑敏感性上相对于 DSGD 较弱。该研究针对此问题提出了一种统一的分布式算法 SUDA，并建立了 SUDA 的收敛性，实验结果证明该算法对网络拓扑较为鲁棒。

    Oct, 2021