Jul, 2023

分布式训练通用架构的稳健全异步方法

PDF
TL;DR通过提出一种称为 R-FAST 的稳健全异步随机梯度跟踪方法，该方法可以消除数据异构性、允许数据丢失，并利用两个树形图进行通信，从而在分布式机器学习中实现了高效的非同步算法。
distributed machine learningrobust fully-asynchronous stochastic gradient trackingdata heterogeneitycommunication architecturesasynchronous sota algorithms
发现论文，激发创造
  • 异步分布式半随机梯度优化

    本文提出了一种基于异步随机梯度下降的快速分布式机器学习算法，采用变量规约技术，可使用常量的学习率，并保证线性收敛到最优解，在 Google 云计算平台上的实验表明，该算法在墙时钟时间和解的质量方面优于最先进的分布式异步算法。

    Aug, 2015

  • 去中心化深度学习的本地异步随机梯度下降

    本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

    Mar, 2022

  • 慢而稳定的梯度也能取得胜利

    本研究分析同步和异步分布式随机梯度下降算法的误差和训练时间之间的权衡，考虑到随机拖延延迟，提出了逐渐变化同步性的方法，并在 CIFAR10 数据集上表现良好。

    Mar, 2020

  • 异步分散并行随机梯度下降

    本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

    Oct, 2017

  • Ravnest：异构设备上的去中心化异步训练

    该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

    Jan, 2024

  • 分布式同步 SGD 的再探讨

    本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

    Apr, 2016

  • 分布式深度学习的同步异步随机梯度下降算法

    本文提出了一种改进的异步 SGD 算法，通过梯度陈旧程度对学习速率进行调节，以提高其稳定性和收敛速度，在 CIFAR10 和 Imagenet 数据集上进行了实验验证，并证明了该算法的优越性。

    Nov, 2015

  • 快速异步并行随机梯度下降

    本文提出了一种名为 AsySVRG 的快速异步并行 SGD 方法，能够在收敛速度和计算成本方面优于现有的 Hogwild！等最先进的并行 SGD 方法。

    Aug, 2015

  • 异步联邦随机优化中的精确平均化技术用于异构局部目标

    Federated learning algorithms face challenges due to straggling clients and non-iid local distributions; the proposed stochastic gradient algorithm, AREA, addresses these issues, demonstrating robustness to client drift and faster convergence through asynchronous communication.

    May, 2024

  • 弹性平均随机梯度下降的深度学习

    在通信约束之下的并行计算环境下研究深度学习的随机优化问题，提出了一种新的基于弹性力的算法，可以使本地变量更加波动以允许更多的探索，同时减少了本地工作者与主节点之间的通信，从而加快了训练速度和提高了效率

    Dec, 2014