Apr, 2023

SparDL：高效稀疏通信的分布式深度学习训练

PDF
TL;DR提出了 SparDL，一种灵活而高效的稀疏通信框架，使用 Spar-Reduce-Scatter 算法来解决分布式深度学习中的梯度积累问题，并使用 Spar-All-Gather 算法进一步减少通信复杂度并调整延迟和带宽成本的比例，大量实验证明其卓越性能。
发现论文，激发创造
  • 分布式深度学习的近似最优稀疏全约简算法

    本文提出了 O$k$-Top$k$ 的方案，将新型稀疏同时求和算法与去中心化并行随机梯度下降（SGD）optimizer 进行集成，达到与总结所有技术相当的模型精度，与优化密集型和最先进的稀疏同时求和相比，O$k$-Top$k$ 更具扩展性并显着提高了训练吞吐量。

    Jan, 2022

  • 一种带有全局 Top-k 稀疏化的分布式同步 SGD 算法，用于低带宽网络

    该论文提出一种基于全局 Top-k 稀疏化技术的分布式同步随机梯度下降 (S-SGD) 算法，该算法通过减少通信带宽来提高训练深度神经网络的效率，通过大量实验，验证了算法的收敛性能和泛化性能，实验结果表明该算法的可扩展性比 S-SGD 更高。

    Jan, 2019

  • 带记忆的稀疏化随机梯度下降

    对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

    Sep, 2018

  • 超级计算环境中分布式深度学习的 Top-k 梯度稀疏化实证分析

    该论文研究了使用 Top-k SGD 方法减少通信流量来提高深度学习模型在多 GPU 下的训练性能，但是因为在 GPU 上进行梯度排序效率低下，所以该方法具有局限性，提出未来工作的高性能梯度稀疏化方法。

    Sep, 2022

  • SparCML：用于机器学习的高性能稀疏通信

    运用稀疏输入数据设计通信协议，使得机器学习与 MPI 协议衔接，从而实现高可扩展性。

    Feb, 2018

  • 分布式深度学习中 Top-k 稀疏化的理解

    本文研究了基于 Top-k 稀疏化技术的分布式随机梯度下降算法在训练深度学习模型中的通信负载问题，通过实验和理论推导，提出了更为准确的 Top-k 算子收敛性分析方法，并开发了一种 GPU 上高效的 Top-k 选取算法，提高了 TopK-SGD 的计算效率。

    Nov, 2019

  • 分布式深度学习中的层自适应梯度稀疏化及收敛性保证

    本文提出了一种新的分布式优化方法 LAGS-SGD，它结合了 S-SGD 与一种新的 LAGS 方案，通过采用分层自适应梯度稀疏来减少通信负担，实现了通信和计算之间的重叠，同时保证了收敛性能。在 16-GPU 群集上的实验结果表明，LAGS-SGD 在不失精度的情况下优于原始的 S-SGD 和现有的稀疏 S-SGD。

    Nov, 2019

  • 随机 Top-k 稀疏化减少分布式学习的通信

    本文研究了多种通信压缩方法，包括切割层数减少、top-k 限制、量化和 L1 正则化，并通过分析 cut layer size reduction 和 top-k sparsification 提出了随机化的 top-k sparsification 方法来提高模型泛化和收敛性，在相同的压缩程度下取得更好的模型性能。

    May, 2023

  • 通信高效分布式优化的梯度稀疏化

    通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

    Oct, 2017

  • 保持最优梯度稀疏化成本的可扩展分布式深度学习

    ExDyna 是一种新颖的梯度稀疏化方案，通过将模型的梯度张量分为细粒度的块并将连续的块分组成不重叠的分区，实现了减少通信开销、平衡工作负载和在线阈值调整，从而提高分布式训练系统的可扩展性和稀疏化性能。

    Feb, 2024