研究了分布式训练中常用的错误反馈机制的不足，并提出一种新的错误反馈机制 EF21，其在光滑非凸问题上具有快速 O（1/ T）的收敛率，是目前非依赖于无偏压缩器的 EF 类型方法的第一个线性收敛结果。该方法应用广泛，能够有效提高分布式学习的通信效率。

Jun, 2021

本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。

Oct, 2021

在本研究中，我们研究了一种称为 EF21 的现代化误差反馈机制，该机制在最弱的假设下具有目前已知的最佳理论保证，并且在实践中效果良好，该机制改进了通信复杂性，特别适用于异质数据情况，并进行了验证实验。

Feb, 2024

本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。

Jun, 2020

本文研究了基于符号的梯度压缩算法在大规模神经网络训练中的通信瓶颈问题，通过引入误差反馈机制提高了其收敛性和泛化性能，实验结果支持该算法在不额外假设的前提下具有与标准梯度下降算法相同的优越性能。

Jan, 2019

提出了一种基于 Nesterov 的动量的分布式压缩的 SGD 方法，通过两种方式压缩梯度并将梯度分块，每个梯度块都以 1 位格式进行压缩和传输，并实现了近 32 倍的通信降低，实验表明该方法与精度相同的动量 SGD 收敛速度相同，并在分布式 ResNet 训练中达到与全精度梯度动量 SGD 相同的测试精度，而时间缩短了 46％。

May, 2019

提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 SDG 加速。

Dec, 2023

提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。

Jun, 2024

本篇论文介绍了一种分布式学习算法，通过采用压缩梯度和梯度阈值等方法，减少了拜占庭故障的影响，并提高了通信效率，以达到优化分布式机器学习的目的。

Nov, 2019

MoTEF 是一种将通信压缩与动量跟踪和误差反馈相结合的新方法，它在任意数据异质性下取得了显著优于现有方法的实际优越性。

May, 2024