Feb, 2021

1-bit Adam：高效通讯的 Adam 收敛速度大规模训练

PDF
TL;DR本文提出使用 1 位 Adam 方法和误差补偿压缩技术来提高通信效率和扩展性， 实验结果表明，该方法在 BERT 和 SQuAD 任务上能够显著加速训练，同时保证了收敛速度和压缩率。
scalable trainingcommunication compressionerror-compensated compression1-bit adambert
发现论文，激发创造
  • 具有误差反馈的通信高效分布式块动量 SGD

    提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

    May, 2019

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • 高效 Adam：具复杂度分析的通信高效分布式 Adam

    本文提出了一种称为 Efficient-Adam 的新型通信高效的分布式优化算法，采用双向量化策略和双向误差反馈策略，在保证迭代收敛精度的同时有效减少了服务器与工作节点之间的通信成本，并应用于解决了一个随机凸优化问题，以及在实际视觉和语言任务中训练深度学习模型，同时进行了大量实验和理论分析以验证其优越性。

    May, 2022

  • AdaGossip：分布式深度学习中的自适应共识步长与通信压缩

    AdaGossip 是一种新的技术，根据相邻代理之间的压缩模型差异自适应调整共识步长，通过大量实验证明在分布式学习中具有压缩通信时，相比于当前的最先进方法，在测试准确率上实现了卓越的性能（提高了 0-2% 的测试准确率）。

    Apr, 2024

  • 局部更新 SGD 中的最佳错误 - 运行时间平衡的自适应通信策略

    本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。

    Oct, 2018

  • 任意通信压缩下的分散式深度学习

    该论文研究了去中心化训练深度学习模型的关键因素，提出使用通信压缩来解决网络带宽有限的问题，并通过 Choco-SGD 算法实现了高压缩下的快速收敛，同时支持更高压缩比例，实验结果表明在多种应用场景下具有很好的实际性能表现。

    Jul, 2019

  • QSGD: 通过梯度量化和编码实现通信高效的 SGD

    提出了一种名为 Quantized SGD 的压缩梯度下降的算法，使用该算法可以在降低通信代价的同时保证收敛，且在图像分类和自动语音识别等多个实验中表现优异。

    Oct, 2016

  • MLPerf 训练突破：BERT 优化案例研究

    提出了新的方法，包括负载均衡、通信成本隐藏、优化器重新评估，并结合超参数优化和更大的批次使用 ADAM 等技术，实现了最快的 MLPerf BERT 训练，比其他两个（一个）MLPerf v1.1（v2.0）提交的结果更快。

    Feb, 2024

  • PowerGossip: 分散式深度學習中实用的低秩通信压缩

    介绍了一种使用低秩线性压缩器直接压缩相邻工作器之间的模型差异的简单算法，在分布式机器学习训练中具有实际应用价值，无需额外的超参数，收敛速度比之前的方法快，并且在一系列深度学习基准测试中的表现与经过调优的最先进压缩算法相当。

    Aug, 2020

  • 分布式优化的线性收敛算法：免费发送更少的比特！

    提出了一种新的基于随机压缩算子的一阶随机算法和方差约简技术，能够在去除了通信中数据量的一定压缩的前提下，快速地在分散的装置上完成模型的机器学习训练并收敛于最优解。

    Nov, 2020