本研究旨在解决加速卷积神经网络训练的问题，其中使用了一种适用于随机梯度下降的分布式方法。这种并行优化设置使用多个线程，每个线程在本地变量上应用单独的梯度下降，并提出了一种具有吸取交际算法启发式的共享不同线程信息的新方法，具有良好的一致收敛性和完全异步和分散式的优势，该方法称为 GoSGD。我们在 CIFAR-10 上将此方法与最近的 EASGD 作比较，结果鼓舞人心。

Nov, 2016

本文主要介绍分布式深度神经网络训练算法的通信拓扑设计选择及异步去中心化算法如何通过 LASGD 实现模型同步，实验证明 LASGD 相较于 SGD 及业界领先的基于八卦协议的算法加速了大规模图像分类数据集 ImageNet 的训练速度。

Mar, 2022

本文介绍了一种名为 Gossip-PGA 的算法，该算法将定期全局平均合并到 Gossip SGD 中，通过控制平均周期 H，可以控制网络拓扑结构的影响，而此算法在大规模训练中存在这样的优点，它使得瞬变阶段的收敛速度优于 Local SGD 且远优于原有的 Gossip SGD。

May, 2021

本文提出了 Computation and Communication Decoupling Stochastic Gradient Descent (CoCoD-SGD) 算法，实现了计算和通信的并行处理，有效减少了通信开销，较传统分布式 SGD 算法具有更高的时间加速度，在 16 个 GPU 上的 ResNet18 和 VGG16 深度神经网络训练表现出 2-3 倍的速度提升。

Jun, 2019

本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

Nov, 2019

本文设计了一种名为 DIGEST 的快速和通信高效的异步分散式学习机制，通过借鉴 Gossip 和随机游走的思想和关注随机梯度下降（SGD），在本地 SGD 算法基础上构建了一种异步分散式算法，并设计了单流和多流的 DIGEST，研究了其收敛性和与 IID 和无 IID 分布的性能表现。

Jul, 2023

AdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。

Apr, 2024

该研究比较了同步和异步随机梯度下降的收敛性，针对 ImageNet 分类问题的训练，在 32 个节点以下异步 SGD 包括弹性平均和 gossiping 能更快收敛，而同步 SGD 在 100 个节点以下能更好地扩展。

Nov, 2016

通过优化的 Gossip Learning（OGL）实现分布式学习，减少能耗并在动态网络中实现目标准确度。

Apr, 2024

设计并实现了一种分布式多节点同步的 SGD 算法，通过在不改变超参数、压缩数据或更改算法行为的情况下进行详细的分析，实现了 CNN 在数百个节点上的扩展，并展示了记录的训练吞吐量，同时通过在基于以太网的 AWS 集群上训练，使深度学习更加平民化，在 16 个节点上展示了约 14 倍的扩展性。

Feb, 2016