Nov, 2018

超级神经元：基于 FFT 的梯度稀疏化在深度神经网络的分布式训练中的应用

PDF
TL;DR使用稀疏性和基于范围的浮点表示方法，本文提出了一种新的梯度压缩框架，该框架在不影响准确性和收敛速度的情况下，显著提高了最流行的神经网络在大规模 GPU 集群上的可扩展性。
deep neural networksgradient compressionsparsificationfloating point representationscalability
发现论文，激发创造
  • 稀疏梯度下降法的收敛性

    本文研究了基于梯度稀疏化的分布式深度神经网络的训练方法，证明了在一定的解析条件下，采用基于梯度幅值优先选择梯度部分更新方法具有收敛性，并验证了该方法的有效性并探究了其收敛条件。

    Sep, 2018

  • 基于方差的梯度压缩用于高效的分布式深度学习

    本文提出了一种用于降低分布式深度学习通信开销的方法，通过延迟梯度更新以使得梯度可以在计算出高幅度、低方差的梯度后进行。在实验中，我们证明了该方法能够在保持模型准确性的同时实现非常高的压缩比，并分析了使用计算模型和通信模型的效率，提供了该方法能够实现在许多场景下使用基础设施的证据。

    Feb, 2018

  • 通信高效分布式优化的梯度稀疏化

    通过减少信息交换的通信成本，提出了使用凸优化公式的随机梯度编码方法，该方法可以在多台机器上有效地解决大规模机器学习中的瓶颈问题，同时经过正则化逻辑回归，支持向量机和卷积神经网络的实验验证了该方法的有效性。

    Oct, 2017

  • 重新思考将梯度稀疏化作为总误差最小化问题

    通过考虑整个训练过程的通信复杂度模型，使用硬阈值稀疏化进行梯度压缩可以比 Top-k 稀疏化更加高效地减少通信成本，特别是在大型深度神经网络上。

    Aug, 2021

  • 深度梯度压缩：降低分布式训练的通信带宽

    本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

    Dec, 2017

  • MiCRO：用于扩展和加速分布式 DNN 训练的几乎零成本梯度稀疏化

    MiCRO 是一种新颖的梯度稀疏化方法，通过解决影响分布式深度神经网络训练可扩展性和加速度的问题，实现了接近零成本的梯度稀疏化，并具有出色的收敛速度。

    Oct, 2023

  • 分布式和联邦学习的最优梯度压缩

    通过使用压缩技术来减少通信成本，我们研究了在压缩向量所需的比特数和压缩误差之间的基本权衡，为最坏情况和平均情况提供了紧密的下界。我们引入了一种高效的压缩算子和一种简单的压缩算子，它们都能达到最低下界，并在实验中取得了很好的效果。

    Oct, 2020

  • 保持最优梯度稀疏化成本的可扩展分布式深度学习

    ExDyna 是一种新颖的梯度稀疏化方案，通过将模型的梯度张量分为细粒度的块并将连续的块分组成不重叠的分区，实现了减少通信开销、平衡工作负载和在线阈值调整，从而提高分布式训练系统的可扩展性和稀疏化性能。

    Feb, 2024

  • 带记忆的稀疏化随机梯度下降

    对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。

    Sep, 2018

  • 分布式优化的无偏单尺度和多尺度量化器

    本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

    Sep, 2021