特征稀少时误差反馈显著
本文提出了一种新的构造方法，可以将任何收缩压缩器转化为感应无偏压缩器，从而大大减少了内存要求，提高了通信复杂性保证和使用的方法，特别是在对合同收缩压缩器进行处理时，相对错误反馈（EF）有更好的理论和实践效果。
Jun, 2020
在本研究中，我们研究了一种称为 EF21 的现代化误差反馈机制，该机制在最弱的假设下具有目前已知的最佳理论保证，并且在实践中效果良好，该机制改进了通信复杂性，特别适用于异质数据情况，并进行了验证实验。
Feb, 2024
通过考虑整个训练过程的通信复杂度模型，使用硬阈值稀疏化进行梯度压缩可以比 Top-k 稀疏化更加高效地减少通信成本，特别是在大型深度神经网络上。
Aug, 2021
本研究中我们提出的基于 Polyak 动量的 EF21-SGDM 算法在非凸随机优化中减少了之前 EF 算法中大批量的限制，同时后续提出的双动量版本进一步减少了计算复杂度。该算法不需要其他假设，并在理论证明上具有创新意义。
May, 2023
研究了分布式训练中常用的错误反馈机制的不足，并提出一种新的错误反馈机制 EF21，其在光滑非凸问题上具有快速 O（1/ T）的收敛率，是目前非依赖于无偏压缩器的 EF 类型方法的第一个线性收敛结果。该方法应用广泛，能够有效提高分布式学习的通信效率。
Jun, 2021
提出了一种错误反馈压缩式纵向联邦学习（EFVFL）方法，该方法通过利用错误反馈，在满批次情况下实现了 $\mathcal {O}(1/T)$ 的收敛速度，改善了垂直 FL 中压缩方法的收敛速度，并且与未压缩的方法相匹配，同时支持使用私有标签。数值实验证实了该方法在改善收敛速度方面的优越性，并验证了理论结果。
Jun, 2024
本文提出了 6 种有效的实用扩展 EF21，并分别分析它们的强收敛理论，这些扩展可以与 EF 一起使用，采用压缩策略和带有 Markov 压缩器的新的错误反馈机制可以更好地优化分布式梯度下降算法。
Oct, 2021
对于分布式算法，通过对随机梯度下降（SGD）的压缩（如 top-k 或 random-k）等技术进行分析，发现它在进行误差补偿的情况下，能够实现与传统 SGD 相同的收敛速度，降低数据通信量达到更好的分布式可扩展性。
Sep, 2018
提出了一种名为收缩误差反馈（ConEF）的通信高效方法，通过利用有偏差和可全局聚合的梯度压缩实现通信效率，并在各种学习任务中对 ConEF 进行了经验证实，节省了 EFSGD 中 80％-90％的额外内存，同时实现了 1.3x-5x 的 SDG 加速。
Dec, 2023