Oct, 2019

一种联合梯度估计和跟踪的分散非凸优化样本和通信复杂度改进方法

HTML
PDF
TL;DR该文章提出了一种名为D-GET的去中心化随机算法，可以提高大规模机器学习中高度非凸问题的性能，同时在减少多节点通信轮数的同时，访问最少量的局部数据样本，以实现确定性有限和在线问题的小样本复杂度和通信复杂度，并优于现有方法的复杂度。
发现论文，激发创造
  • 面向更高效的随机分散式学习:更快的收敛与稀疏通信

    本研究提出了一种名为DSBA的随机算法，通过将分散的优化问题推广为单调算子求根问题来解决这一问题，具有线性收敛速度和只需稀疏通讯的优点，同时还能有效地处理像AUC最大化这样的学习问题。

    May, 2018

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 具梯度跟踪和方差缩减的网络分布式优化通信效率提高

    本文提出了一种基于去中心化网络的、通信效率高且线性收敛的近似牛顿方法，该方法可以用于复合优化，并且通过本地通信和计算，可以显著提高总体效率。

    Sep, 2019

  • 去中心化在线随机非凸优化的收敛分析改进

    本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足Polyak-Lojasiewics条件的全局非凸函数，我们确定了GT-DSGD的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。

    Aug, 2020

  • 分布式一阶方法优化的通用框架

    本文研究分布式最优化问题，特别关注分布式的梯度方法，针对机器学习和信号处理等领域的实际场景给出了有效的应用方案。

    Sep, 2020

  • 分散随机梯度下降的稳定性和泛化能力

    本论文提出了分散化随机梯度下降法的新方法，并使用（非）凸优化理论建立了第一个针对分散化随机梯度下降法的稳定性和泛化保证。我们的理论结果基于少数常见且温和的假设，并揭示分散化将首次降低SGD的稳定性。通过使用多种分散化设置和基准机器学习模型，证实了我们的理论发现。

    Feb, 2021

  • 数据异构下去中心化学习的本地更新有效性

    在本文中，我们研究了两种基础的分散式优化方法：分散式梯度跟踪（DGT）和分散式梯度下降（DGD），并考虑了多次本地更新。我们证明了增加本地更新步骤可以降低通信复杂性，并揭示了通信与计算之间的权衡关系。在数据异质性较低且网络连接良好时，增加本地更新可以有效降低通信成本。我们还证明了在超参数化的情况下，即使没有梯度修正，DGD中使用本地更新也可以降低通信复杂性。数值实验验证了我们的理论结果。

    Mar, 2024

  • 基于梯度滑动方法的少数据神经网络分布式随机约束优化

    现代分散应用中，通信效率和用户隐私是关键挑战。为了训练机器学习模型，算法必须与数据中心进行通信并对其梯度计算进行采样，从而暴露数据并增加通信成本。为了解决这个问题，我们提出了一种分散优化算法，它在通信效率上高效，并通过最优梯度复杂性达到了一个ε-近似解，对于凸和强凸的设置分别为O(1/√ε+σ²/ε²)和O(log(1/ε)+σ²/ε)，对于两种设置都具有O(1/ε²)的LO(线性优化)复杂性，给定方差σ²的随机梯度预言。与之前的工作相比，我们的框架放宽了最优解是可行集的严格内点的假设，并在使用随机梯度预言进行大规模训练时具有更广泛的适用性。我们还通过各种数值实验证明了我们算法的效率。

    Apr, 2024

  • 具有本地更新和梯度跟踪的强健分布式学习

    我们提出了一种分散的极小极大优化方法，利用局部更新和梯度跟踪两个重要模块，用于解决分布式学习中的数据异质性和对抗鲁棒性的挑战，并分析了算法Dec-FedTrack在非凸-强凹极小极大优化情况下的性能，证明其收敛于一个稳定点。同时进行数值实验以支持我们的理论发现。

    May, 2024

  • 分布式优化加速：基于原始对偶视角的局部步骤

    在分布式机器学习中，有效地进行具有不同数据分布的多个代理的训练面临着重大挑战。本研究解决了分布式优化问题中的集中式和分散式设置，并提出了一种基于原始对偶方法的新方法，即（加速）梯度上升的多随机梯度下降（GA-MSGD），它自然地融合了本地更新，实现了线性收敛，并且几乎达到了最优的通信复杂性。

    Jul, 2024