本文研究了 Gorbunov 等人（2021 年）提出的 MARINA 方法，该方法利用精心设计的带偏置的随机梯度估计器和独立的随机通信压缩算子以最小化交流轮数和每轮传输的比特数，并将理论分析扩展到更广泛的相关压缩器的设置，引入 Hessian variane 的概念以及使用该方法的 Perm$K$ 压缩器类，理论上实现了较好的通信复杂性，并使用合成实验验证了该理论结果。

Oct, 2021

通过提出 MARINA-P 方法，利用相关压缩器实现下行压缩，在纯净的上行通信成本可以忽略的情况下，从服务端到工作者的通信复杂度可以随着工作者数量而改进，这种方法在支持双向压缩的方法中有着明显的改进，理论和实验结果都证明了所提算法的高效性。

Feb, 2024

我们开发和分析了 DASHA：一种新的非凸分布式优化问题方法，同时考虑了通信复杂度和理论 oracle。我们的新方法改善了以前的最先进的方法，特别是在有限和期望形式的本地函数的情况下。新的方法发送压缩向量，并且永远不会同步节点，这使得它们对联邦学习更加实用。我们还将结果扩展到满足 Polyak-Lojasiewicz 条件的情况。在分类和深度学习模型的培训实验中，实践证实了我们的理论。

Feb, 2022

利用相关量化器，我们分析并改进了 MARINA 优化算法，提高了通信复杂度，并且通过实验证实了我们的理论发现。

Jan, 2024

本文介绍了使用压缩通信解决变分不等式和鞍点问题的分布式方法：MASHA1 和 MASHA2，并通过两个实验验证了结论的正确性。

Oct, 2021

通过压缩和收敛速率，提出了两种新的拜占庭容错化方法，并证明了它们在非凸和 Polyak-Lojasiewicz 平滑优化问题中具有更好的收敛速率、异构情况下更小的邻域大小以及在过参数化时更能容忍拜占庭节点；同时还开发了带有压缩和误差反馈的第一种拜占庭容错化方法，并推导了这些方法在非凸和 Polyak-Lojasiewicz 平滑情况下的收敛速率，并通过数值实验证明了理论发现。

Oct, 2023

通过定期压缩通信的算法，分析其收敛性并探讨其与局部计算的关系，提出了一种本地梯度追踪方案，以缓解数据异质性，实现了更快的收敛速度和更好的算法效果。

Jul, 2020

本文提出了一种名为 DIANA 的新型分布式学习方法，通过压缩梯度差异解决了模型更新通信瓶颈的问题，并且在强凸和非凸设置中进行了理论分析，结果表明 DIANA 的收敛速度优于现有方法。

Jan, 2019

本文利用 PORTER 方法对去中心化的机器学习使用通信压缩和梯度裁剪进行了研究，并提供了更好的收敛保证，同时也突出了收敛速度、压缩比率、网络连通性和隐私之间的权衡。

May, 2023

针对分布式变分不等式问题提出了一种统一的收敛分析方法和几种新的本地训练算法，采用了一般的随机估计假设，证明了算法的收敛性，同时解决了分布式最小化和最大化优化问题。

Jun, 2023