本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。

Oct, 2021

在本研究中，我们研究了一种称为 EF21 的现代化误差反馈机制，该机制在最弱的假设下具有目前已知的最佳理论保证，并且在实践中效果良好，该机制改进了通信复杂性，特别适用于异质数据情况，并进行了验证实验。

Feb, 2024

本研究中我们提出的基于 Polyak 动量的 EF21-SGDM 算法在非凸随机优化中减少了之前 EF 算法中大批量的限制，同时后续提出的双动量版本进一步减少了计算复杂度。该算法不需要其他假设，并在理论证明上具有创新意义。

May, 2023

本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。

Jun, 2020

提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 SDG 加速。

Dec, 2023

本文研究了基于符号的梯度压缩算法在大规模神经网络训练中的通信瓶颈问题，通过引入误差反馈机制提高了其收敛性和泛化性能，实验结果支持该算法在不额外假设的前提下具有与标准梯度下降算法相同的优越性能。

Jan, 2019

提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

Jun, 2024

本文研究了在现代分布式训练中，使用一种受欢迎的压缩算法类来减少通信开销，提出了一种新的机制 EControl，以调节误差补偿并证明其在标准凸性、一般凸性和非凸性等设置下的快速收敛性。

Nov, 2023

本研究首次证明具有贪心稀疏化和误差反馈的梯度下降算法可以在分布式优化问题中获得更好的通信复杂度，在研究中，我们特别关注了稀疏特性。

May, 2023

本研究设计了 Clip21，这是第一个证明有效并实用的反馈机制，用于解决梯度剪切在分布式设置中引起的收敛性问题，并证明了我们的方法与在平滑非凸区域内的分布式梯度下降相同的收敛速度。

May, 2023