May, 2022

高效 Adam：具复杂度分析的通信高效分布式 Adam

PDF
TL;DR本文提出了一种称为 Efficient-Adam 的新型通信高效的分布式优化算法，采用双向量化策略和双向误差反馈策略，在保证迭代收敛精度的同时有效减少了服务器与工作节点之间的通信成本，并应用于解决了一个随机凸优化问题，以及在实际视觉和语言任务中训练深度学习模型，同时进行了大量实验和理论分析以验证其优越性。
distributed adaptive stochastic gradient methodscommunication complexitystochastic nonconvex optimizationefficient-adamquantization
发现论文，激发创造
  • 具有误差反馈的量化 Adam

    本文提出一种分布式变体的自适应随机梯度方法用于训练深度神经网络，并通过梯度量化和权重量化等量化方案以及误差反馈技术来降低通信成本和量化误差，实现在随机非凸的场景下达到一阶稳定点，该方法在深度神经网络训练中取得了良好实验结果。

    Apr, 2020

  • Adam 在放宽假设下的随机优化收敛性

    在具有潜在无界梯度和仿射方差噪声的非凸光滑场景下，研究了 Adam 算法的理论性质，证明了它能够以高概率在多项式时间复杂度内找到一个稳定点，同时具有较好的自适应性能。

    Feb, 2024

  • Local AdaAlter: 基于自适应学习率的通信高效性随机梯度下降

    本篇论文提出了一种新的 SGD 变体算法，降低了通信开销及提高自适应学习率，经实验证明，该算法显著降低了通信开销，进而缩短了 1B 字数据集的训练时间 30%。

    Nov, 2019

  • Q-GADMM：量化组 ADMM 用于通信高效的分散机器学习

    本文提出了一种通信高效的、去中心化的机器学习算法 —— 量化组 ADMM (Q-GADMM)，通过量化减少通信链接，采用随机量化方法进行误差传播控制，以及利用深度神经网络架构与随机采样的量化随机 GADMM (Q-SGADMM)，通过对多项测试结果的对比表明，该算法在通信效率方面明显优于 GADMM，在同等时间内实现了相同的准确率和收敛速度。

    Oct, 2019

  • 1-bit Adam：高效通讯的 Adam 收敛速度大规模训练

    本文提出使用 1 位 Adam 方法和误差补偿压缩技术来提高通信效率和扩展性， 实验结果表明，该方法在 BERT 和 SQuAD 任务上能够显著加速训练，同时保证了收敛速度和压缩率。

    Feb, 2021

  • Adam 算法在宽松条件下的收敛性

    本文提供了自适应矩估计（Adam）算法对于广泛类别的优化目标的收敛性严谨证明，并在更为现实的条件下证明了 Adam 算法可收敛于 ε- 稳定点。同时，我们提出了一种方差抑制的加速梯度复杂度版本的 Adam 算法。

    Apr, 2023

  • 面向通信效率的联邦学习中模型更新的自适应量化

    本文研究提出了 AdaQuant FL，一种自适应量化策略，旨在通过在训练过程中改变量化级别的数量来实现通信效率以及低误差率。 实验表明，与固定量化级别设置相比，该方法可以在更少的通信比特数中收敛，几乎不会对训练和测试的准确性产生影响。

    Feb, 2021

  • 通过稀疏和对齐的自适应优化实现通信高效的联邦学习

    基于稀疏的共享稀疏掩码（SSM）的稀疏 FedAdam 算法（FedAdam-SSM）在联邦学习中表现出了快速的收敛速度和较高的测试准确性。

    May, 2024

  • 局部更新 SGD 中的最佳错误 - 运行时间平衡的自适应通信策略

    本文介绍 AdaComm，一种自适应通信策略，可以更快地训练深度神经网络，使大规模机器学习训练更 robust 且具有更快的收敛速度。

    Oct, 2018

  • 数据并行 SGD 的自适应梯度量化

    通过研究发现深度模型的梯度统计在训练过程中发生变化，于是引入两种自适应量化方案 ALQ 和 AMQ，显著改善了 CIFAR-10 和 ImageNet 的验证准确率，且更具鲁棒性。

    Oct, 2020