本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。

Oct, 2021

本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。

Jun, 2020

signSGD 可通过传输最小批次随机梯度符号来缓解学习分布在多个 worker 上时的通信效率问题，在实际应用中，其动量对应项能够匹配 Adam 算法在深层 Imagenet 模型上的精度和收敛速度。高斯定理证明 sign-based 优化方法对于通信效率和收敛速度的提高具有巨大潜力。

Feb, 2018

本文提出了一种统一的分析分布式 SGD 各种变体的方法，涵盖了不同的量化 SGD、误差补偿 SGD 和延迟更新 SGD 变体，并通过一个定理推导了其所有方法的复杂度结果。在此基础上，我们开发了 16 种新的方法，其中包括第一种基于误差反馈和梯度差分量化的 EC-SGD-DIANA 方法和第一种具有误差反馈和方差缩减的分布式随机方法 EC-LSVRG-DIANA。

Oct, 2020

提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 SDG 加速。

Dec, 2023

研究了分布式训练中常用的错误反馈机制的不足，并提出一种新的错误反馈机制 EF21，其在光滑非凸问题上具有快速 O（1/ T）的收敛率，是目前非依赖于无偏压缩器的 EF 类型方法的第一个线性收敛结果。该方法应用广泛，能够有效提高分布式学习的通信效率。

Jun, 2021

本研究中我们提出的基于 Polyak 动量的 EF21-SGDM 算法在非凸随机优化中减少了之前 EF 算法中大批量的限制，同时后续提出的双动量版本进一步减少了计算复杂度。该算法不需要其他假设，并在理论证明上具有创新意义。

May, 2023

本文研究了在平滑拟凸和非凸函数上的随机梯度下降法（SGD）进行延迟更新，并得出了简洁的非渐近收敛速度。我们证明了在所有情况下收敛速度的由两个项组成：（i）一个随机项，不受延迟的影响，和（ii）一个更高阶的确定性项，只是通过延迟线性减缓。因此，在存在噪声的情况下，延迟的影响在几次迭代后变得微不足道，算法以与标准 SGD 相同的最优速度收敛。我们进一步展示了在使用层压梯度（compressed gradients）进行错误补偿时以及在多个节点上做本地 SGD 之后通信的情况下，与现有最佳算法相比，我们得到了更好的结果。这些结果表明 SGD 对于压缩和 / 或延迟的随机梯度更新是具有鲁棒性的。这对于分布式并行实现特别重要，因为异步和通信高效方法是实现多设备优化的线性加速的关键。

Sep, 2019

提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

May, 2019

本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

Sep, 2020