Jan, 2019

DINGO: 分布式牛顿型梯度范数优化方法

PDF
TL;DR本文提出了一种分布式计算环境中的优化方法 --DINGO，该方法不仅不限于凸性，而且可以处理任意数据分布，其基本子问题是简单的线性最小二乘问题，其参数易于调优，理论上表明其超参数选择不敏感，实验证明其效果、稳定性和通用性优于其他相关算法。
发现论文，激发创造
  • 加速分布式 Nesterov 梯度下降

    本文提出了一种通过本地计算和通信来优化全局函数的分布式优化方法，并探讨了其在不同情形下的收敛速度。

    May, 2017

  • GIANT: 分布式优化的全局改进近似牛顿方法

    本研究提出了一种分布式和通信高效的牛顿类型优化方法，名为 GIANT，通过利用全球 ANT 方向进行局部计算和全局通信之间的折衷来改善收敛率，并仅涉及一个调整参数。

    Sep, 2017

  • Network-GIANT：基于谐波 Hessian 共识的完全分布式 Newton 型优化

    介绍了一种基于网络的全新的分布式优化算法 Network-GIANT，它使用了类似 GIANT 的联邦学习算法，基于梯度跟踪和牛顿迭代算法的组合设计，并保证了在强凸光滑损失函数假设下的半全局指数收敛性，相比其他分布式学习算法提高了收敛性能。

    May, 2023

  • 使用近似牛顿法的通信高效分布式优化

    本研究提出了适用于分布式优化的一种新的 Newton 类方法，特别适用于随机优化和学习问题。对于二次目标，该方法的收敛速度呈现线性，可以按照数据规模得到改善，基于合理假设需要基本恒定次迭代。本文提供了理论和实证证据，表明我们的方法比其他方法，如单次参数平均和 ADMM，具有优势。

    Dec, 2013

  • 加速分布式聚合优化

    本文研究了在网络中分布式汇聚优化问题，提出了结合重球和 Nesterov 加速方法的分布式汇聚梯度跟踪的两个新算法 DAGT-HB 和 DAGT-NES，分析这两个算法在目标函数光滑，强凸且参数选择在一定范围内时，能以全局 R 线性收敛速度收敛到最优解，通过最优放置问题的数值实验验证了算法的有效性和优越性。

    Apr, 2023

  • 快速分布式梯度方法

    本文研究分布式优化问题，提出两种基于 Nesterov 梯度算法的快速分布式梯度算法， 通过对节点间通讯次数和梯度计算次数的分析，证明了这两种算法的收敛速率，并在仿真实验中验证了其有效性。

    Dec, 2011

  • 分布式非凸优化的原始对偶随机梯度下降算法

    本文提出了一种适用于任意连接通信网络和任何光滑（可能是非凸的）代价函数的分布式原始 - 对偶随机梯度下降（SGD）算法，证明了该算法实现了常数参数的输出线性收敛到全局最优的邻域并展示了实验结果与基线集中式 SGD 和最近提出的分布式 SGD 算法的比较效率。

    Jun, 2020

  • 分布式优化在时变图上实现几何收敛

    本文考虑基于动态图的分布式优化问题，提出了 DIGing 和 Push-DIGing 算法来解决无向和有向图的问题，同时证明了在强凸性假设下，这些算法以几何级数的速率收敛。

    Jul, 2016

  • 非凸分布式优化

    该研究分析分布式非凸优化问题，针对多智能体网络模型，利用一些技术假设证明分布式推送算法在目标函数的临界点处收敛，并利用扰动动力学证明扰动过程的几乎肯定收敛性。

    Dec, 2015

  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019