May, 2017

分散式演算法是否能超越中央集中式演算法？以分散式平行隨機梯度下降為例的個案研究

HTML
PDF
TL;DR本文研究了去中心化PSGD算法的理论复杂度，表明相比于其优化的集中式对应物，去中心化算法在低带宽或高延迟网络配置中可以快上一个数量级，并且需要更少的通信成本。
发现论文，激发创造
  • 异步分散并行随机梯度下降

    本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

    Oct, 2017

  • D$^2$: 分散数据的分散式训练

    本文提出了 D2算法，它是一种用于大数据方差的新型去中心化随机梯度下降算法，并扩展了标准 D-PSGD算法的方差降低，从而提高了算法的收敛速度。D2 算法相对于 D-PSGD 算法更能够抵御 工人之间的数据差异，这在图像分类任务中表现得尤为突出。

    Mar, 2018

  • 分散随机优化与梯度追踪简介

    本文综述了基于梯度追踪和方差减少的去中心化随机一阶优化方法，介绍了这些算法在去中心化机器学习模型训练中的应用。

    Jul, 2019

  • 异步分散学习算法中的量化和本地更新

    研究异步传播模型下去中心化优化算法的收敛性，提出一种称为 SwarmSGD 的变量 SGD 算法，使用多维负载平衡过程连接进行分析，并在超级计算环境中表现出比以前的去中心化算法和大批次 SGD 更好的性能。

    Oct, 2019

  • 去中心化在线随机非凸优化的收敛分析改进

    本文研究了节点网络上的去中心化在线随机非凸优化。通过将梯度跟踪技术集成到去中心化随机梯度下降中，我们证明了该算法具有一定的优势，并分析了其有效性和性能。同时，对于满足Polyak-Lojasiewics条件的全局非凸函数，我们确定了GT-DSGD的线性收敛性，并且在几乎每条路径上具有最优的全局亚线性收敛速度。

    Aug, 2020

  • 分散随机梯度下降的稳定性和泛化能力

    本论文提出了分散化随机梯度下降法的新方法，并使用（非）凸优化理论建立了第一个针对分散化随机梯度下降法的稳定性和泛化保证。我们的理论结果基于少数常见且温和的假设，并揭示分散化将首次降低SGD的稳定性。通过使用多种分散化设置和基准机器学习模型，证实了我们的理论发现。

    Feb, 2021

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过LASGD实现模型同步，实验证明LASGD相较于SGD及业界领先的基于八卦协议的算法加速了大规模图像分类数据集ImageNet的训练速度。

    Mar, 2022

  • 去中心化SGD和平均方向SAM在渐近情况下等价

    本文挑战了常规信念，提出了一种完全新的角度来理解分散学习，证明了分散随机梯度下降隐含地最小化了一种平均方向锐度感知最小化算法的损失函数，在常规非凸非 $/beta/$ -平滑设置下的这种惊人的渐近等价关系揭示了一种本质上的正则化-优化权衡和分散的三个优点。

    Jun, 2023

  • 分散式ASGD的收敛分析

    我们提供了分布式和异步随机梯度下降（DASGD）的收敛速度分析，并证明了它对于一系列条件是有效的。

    Sep, 2023

  • 邻近领导去中心化随机梯度下降

    提出一种名为AL-DSGD的邻近领导者分散梯度下降方法，通过分配权重和动态通信图，在分散式深度学习优化中加快收敛速度、降低通信开销，改善了最先进技术的测试性能。

    May, 2024