Ravnest：异构设备上的去中心化异步训练

Jan, 2024

Ravnest：异构设备上的去中心化异步训练

Ravnest: Decentralized Asynchronous Training on Heterogeneous Devices

Anirudh Rajiv Menon, Unnikrishnan Menon, Kailash Ahirwar

TL;DR该论文提出了一种异步分布式训练方法，利用互联网连接的具有有限资源的普通异构个人电脑的计算能力，在大型现代深度学习模型上取得了良好的性能指标，通过将计算节点高效地组织成具有相似数据传输速度和计算能力的集群，避免了每个节点承载整个模型，并采用并行多环全局参数平均方法实现全局参数平均。同时，论文在异步 SGD 损失函数上进行了解析，推导出了收敛速度的最优复杂度以及参与集群数量的线性加速和时滞参数的界.

Abstract

Modern deep learning models, growing larger and more complex, have demonstrated exceptional generalization and accuracy due to training on huge datasets. This trend is expected to continue. However, the increasing size of these models poses challenges in training, as traditional centra

deep learning models asynchronous decentralized training ravnest zero-bubble asynchronous model parallel parallel multi-ring all-reduce

发现论文，激发创造

分布式深度学习的扩展方法

该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

Nov, 2016

去中心化深度学习的本地异步随机梯度下降

本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

Mar, 2022

规模安全分布式训练

本文提出了一种新颖的协议，用于安全的（拜占庭容错）分散式训练，强调通信效率。

Jun, 2021

异步分散并行随机梯度下降

本文提出了一种异步的分布式随机梯度下降算法（AD-PSGD）来解决异构环境下常用的同步算法（如 AllReduce-SGD）和参数服务器 suffer from 的问题，并且在理论分析和经验结果上证明了 AD-PSGD 在异构环境下具有良好的收敛速度和通信效率优势。

Oct, 2017

利用分散式专家混合实现大规模神经网络的众包训练

本文提出了一个名为 Learning@home 的神经网络训练新范式，基于大量的志愿者 PC，可以高效地训练大型网络，与传统的分布式训练方式进行对比并分析了性能、可靠性和架构约束。

Feb, 2020

分布式同步 SGD 的再探讨

本文研究了分布式训练深度学习模型时采用同步优化的可行性，发现同步优化虽然会浪费一些等待时间，但采用备用工作者的方式可以避免异步噪声并加速收敛，同时能够在保证准确性的前提下提高测试准确率。

Apr, 2016

分布式深度学习中模型准确性与运行时间的权衡：一个系统性研究

本文提出了 Rudra—— 一种参数服务器为基础的分布式计算框架，通过异步随机梯度下降算法的变体，研究了同步协议、过期的梯度更新、小批量大小、学习速率和学习者数量对运行时性能和模型精度的影响，并提出了一种新的学习率调制策略和同步协议，这可以有效地限制梯度在过期期间的误差，提高运行时性能并实现良好的模型精度。此外，我们揭示了一种分布式神经网络的原则：随着系统中增加了更多的学习者，每位学习者的最小批量大小应相应减小以保持模型精度，并使用常用的图像分类基准数据集 CIFAR10 和 ImageNet 进行验证。

Sep, 2015

规模鲁棒的及时异步分散式学习

分布式异步学习系统通过模型更新和模型混合过程实现用户模型在有限时间内的收敛，并证明了当网络规模很大时，具有对数规模的用户混合能够保证用户模型的收敛，而有界的陈旧度只能通过至少与用户数量成线性关系的分布式机会方案来保证。

Apr, 2024

准全局动量：加速异构数据下的分散式深度学习

本文研究了多个分布式优化算法在面对不同客户端数据异构程度时的局限性，并提出了一种基于动量法的方法来减轻这种分布式训练困难。通过在多个数据集上的实验，结果表明我们提出的方法比其他现有方法更能够应对客户端数据异构性。

Feb, 2021

基于分散数据通信高效学习深度网络

Federated Learning is proposed as an alternative to logging and training in a data center by aggregating locally-computed updates on mobile devices to improve the user experience. The approach is shown to be robust to non-IID data distributions and reduce required communication rounds by 10-100x compared to synchronized stochastic gradient descent.

Feb, 2016