Jan, 2019

一种带有全局 Top-k 稀疏化的分布式同步 SGD 算法，用于低带宽网络

HTML
PDF
TL;DR该论文提出一种基于全局 Top-k 稀疏化技术的分布式同步随机梯度下降 (S-SGD) 算法，该算法通过减少通信带宽来提高训练深度神经网络的效率，通过大量实验，验证了算法的收敛性能和泛化性能，实验结果表明该算法的可扩展性比 S-SGD 更高。
发现论文，激发创造
  • 带记忆的稀疏化随机梯度下降

    对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

    Sep, 2018

  • 稀疏梯度下降法的收敛性

    本文研究了基于梯度稀疏化的分布式深度神经网络的训练方法，证明了在一定的解析条件下，采用基于梯度幅值优先选择梯度部分更新方法具有收敛性，并验证了该方法的有效性并探究了其收敛条件。

    Sep, 2018

  • 分布式深度学习中的层自适应梯度稀疏化及收敛性保证

    本文提出了一种新的分布式优化方法LAGS-SGD，它结合了S-SGD与一种新的LAGS方案，通过采用分层自适应梯度稀疏来减少通信负担，实现了通信和计算之间的重叠，同时保证了收敛性能。在16-GPU群集上的实验结果表明，LAGS-SGD在不失精度的情况下优于原始的S-SGD和现有的稀疏S-SGD。

    Nov, 2019

  • 分布式深度学习中Top-k稀疏化的理解

    本文研究了基于Top-k稀疏化技术的分布式随机梯度下降算法在训练深度学习模型中的通信负载问题，通过实验和理论推导，提出了更为准确的Top-k算子收敛性分析方法，并开发了一种GPU上高效的Top-k选取算法，提高了TopK-SGD的计算效率。

    Nov, 2019

  • 降低通信复杂度的方差减少本地随机梯度下降

    本论文提出了一种Variance Reduced Local SGD算法，通过消除工作人员之间的梯度方差依赖性，实现了更低的通信复杂性，以实现线性迭代加速，并在三个机器学习任务上得到了卓越的性能表现。

    Dec, 2019

  • rTop-k：分布式SGD的统计估计方法

    本文提出一种基于统计估计模型的分布式机器学习通信优化方案，将梯度稀疏化技术与随机梯度业务结合，实现了通信效率与模型性能的均衡优化。

    May, 2020

  • 分布式深度学习的近似最优稀疏全约简算法

    本文提出了O$k$-Top$k$的方案，将新型稀疏同时求和算法与去中心化并行随机梯度下降（SGD）optimizer进行集成，达到与总结所有技术相当的模型精度，与优化密集型和最先进的稀疏同时求和相比，O$k$-Top$k$更具扩展性并显着提高了训练吞吐量。

    Jan, 2022

  • 超级计算环境中分布式深度学习的Top-k梯度稀疏化实证分析

    该论文研究了使用Top-k SGD方法减少通信流量来提高深度学习模型在多GPU下的训练性能，但是因为在GPU上进行梯度排序效率低下，所以该方法具有局限性，提出未来工作的高性能梯度稀疏化方法。

    Sep, 2022

  • 分布式深度学习梯度压缩的评估与优化

    本研究提出了一种名为ACP-SGD的梯度压缩方法，可以加速分布式训练并具有三种甚至更优秀的系统优化技术，与S-SGD相比，优化后的ACP-SGD在减少压缩和通信开支的同时，能够实现相似的模型准确性。

    Jun, 2023

  • ABS-SGD：一种适用于异构GPU集群的带有自适应批大小的延迟同步随机梯度下降算法

    我们提出了一种在异构GPU集群中具有自适应批大小的延迟同步随机梯度下降（ABS-SGD）算法，该算法通过全局同步来积累延迟的梯度，并使用积累的延迟梯度来更新参数，实现了计算资源的充分利用，并且在异构集群中具有收敛性。

    Aug, 2023