一种灵活的梯度追踪方法的计算 - 通讯权衡

Jun, 2023

一种灵活的梯度追踪方法的计算 - 通讯权衡

On the Computation-Communication Trade-Off with A Flexible Gradient Tracking Approach

Yan Huang, Jinming Xu

TL;DR提出了一种灵活的梯度跟踪方法，用于解决非独立同分布情况下网络上的分布式随机优化问题，利用设计良好的李亚普诺夫函数，导出了计算和通信复杂度，以实现在光滑和强凸目标函数上的任意精度。

Abstract

We propose a flexible gradient tracking approach with adjustable computation and communication steps for solving distributed stochastic optimization problem over networks. The proposed method allows each node to perform multiple local gradient updates and multiple inter-node communicat

distributed stochastic optimization lyapunov function communication complexity convex objective functions network topology

发现论文，激发创造

分布式优化中通信与计算的平衡

本文采用自适应成本框架和显示分解算法的方法对分布式梯度下降（DGD）算法进行了改进，并将其应用于机器学习中的二次函数和分类问题中，结果表明，新算法 NEAR-DGD^+ 在迭代、梯度评估和通信方面的性能优于基本算法。

Sep, 2017

分布式优化中的网络拓扑和通讯计算权衡

本文介绍了去中心化优化中最近的研究进展，并概述了针对不同场景的算法和分析，强调了网络拓扑在这些方法中的作用。

Sep, 2017

具梯度跟踪和方差缩减的网络分布式优化通信效率提高

本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

Sep, 2019

一种联合梯度估计和跟踪的分散非凸优化样本和通信复杂度改进方法